{% extends 'base/layout.html' %} {% block header %}
{# bootstrap#}
{% endblock %} {% block body %} {% raw %}
ๆทฑๆทฑๆทฑๅบฆๅบฆๅบฆๅญฆๅญฆๅญฆไน ไน ไน ๅœจๅœจๅœจๅ›พๅ›พๅ›พๅƒๅƒๅƒ่ฏ†่ฏ†่ฏ†ๅˆซๅˆซๅˆซไธญไธญไธญ็š„็š„็š„ๅบ”ๅบ”ๅบ”็”จ็”จ็”จ
ๆˆšๆˆšๆˆš้”ฆ้”ฆ้”ฆ็ง€็ง€็ง€
้™ข๏ผˆ็ณป๏ผ‰๏ผš่ˆชๅคฉๅญฆ้™ขๆŽงๅˆถ็ง‘ๅญฆไธŽๅทฅ็จ‹็ณป ไธ“ ไธš๏ผš ่‡ชๅŠจๅŒ–
ๅญฆ ๅท๏ผš 1110410427 ๆŒ‡ๅฏผๆ•™ๅธˆ๏ผš ๆจๆ—ญไธœ
2015ๅนด6ๆœˆ29ๆ—ฅ
ๆฏ•ๆฏ•ๆฏ•ไธšไธšไธš่ฎพ่ฎพ่ฎพ่ฎก่ฎก่ฎก๏ผˆ๏ผˆ๏ผˆ่ฎบ่ฎบ่ฎบๆ–‡ๆ–‡ๆ–‡๏ผ‰๏ผ‰๏ผ‰
้ข˜้ข˜้ข˜ ็›ฎ็›ฎ็›ฎ๏ผš๏ผš๏ผšๆทฑๆทฑๆทฑๅบฆๅบฆๅบฆๅญฆๅญฆๅญฆไน ไน ไน ๅœจๅœจๅœจๅ›พๅ›พๅ›พๅƒๅƒๅƒ่ฏ†่ฏ†่ฏ†ๅˆซๅˆซๅˆซไธญไธญไธญ็š„็š„็š„ๅบ”ๅบ”ๅบ”็”จ็”จ็”จ
ไธ“ไธ“ไธ“ ไธšไธšไธš ่‡ช่‡ช่‡ชๅŠจๅŠจๅŠจๅŒ–ๅŒ–ๅŒ–
ๅญฆๅญฆๅญฆ ๅทๅทๅท 1110410427
ๅญฆๅญฆๅญฆ ็”Ÿ็”Ÿ็”Ÿ ๆˆšๆˆšๆˆš้”ฆ้”ฆ้”ฆ็ง€็ง€็ง€
ๆŒ‡ๆŒ‡ๆŒ‡ๅฏผๅฏผๅฏผๆ•™ๆ•™ๆ•™ๅธˆๅธˆๅธˆ ๆจๆจๆจๆ—ญๆ—ญๆ—ญไธœไธœไธœ
็ญ”็ญ”็ญ”่พฉ่พฉ่พฉๆ—ฅๆ—ฅๆ—ฅๆœŸๆœŸๆœŸ 2015ๅนดๅนดๅนด6ๆœˆๆœˆๆœˆ29ๆ—ฅๆ—ฅๆ—ฅ
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ๆ‘˜ ่ฆ
ๆทฑๅบฆๅญฆไน ๆ˜ฏ่ฟ‘ๅนดๆฅไบบๅทฅๆ™บ่ƒฝ็ ”็ฉถ้ข†ๅŸŸ็š„ไธ€ไธช็ƒญ็‚น๏ผŒ่ฟ™ไธชๆœบๅ™จๅญฆไน ็š„ๅˆ†ๆ”ฏไปฅ
ๅ…จ่ฟžๆŽฅ็š„ๆทฑๅบฆ็ฝฎไฟก็ฝ‘็ปœๅ’Œๅฑ€้ƒจ่ฟžๆŽฅ็š„ๅท็งฏ็ฅž็ป็ฝ‘็ปœไธบไปฃ่กจ๏ผŒ่žๅˆๆฆ‚็Ž‡ๅ›พๆจกๅž‹ใ€
้ฉฌๅฐ”ๅฏๅคซ้“พ่’™็‰นๅก็ฝ—ๆ–นๆณ•็ญ‰ๅคšไธชๆŠ€ๆœฏ๏ผŒๅ…ถๅŸบไบŽๅคง่ง„ๆจกๆ•ฐๆฎ่€Œ่ฎญ็ปƒๅ‡บ็š„ๆจกๅž‹ๅœจ
ๅฃฐ้Ÿณ่ฏ†ๅˆซใ€ๅ›พๅƒ่ฏ†ๅˆซ็ญ‰ไผ—ๅคš้ข†ๅŸŸไธญ่Žทๅพ—ไบ†็ช็ ดๆ€งๆˆๆžœใ€‚ๆœฌๆ–‡ไธป่ฆ็ ”็ฉถไบ†ๆทฑๅบฆ็ฝฎ
ไฟก็ฝ‘็ปœๅŠๅท็งฏ็ฅž็ป็ฝ‘็ปœ็š„ๅทฅไฝœๅŽŸ็†๏ผŒๅนถๅœจMNISTไธŽCIFARๆ•ฐๆฎ้›†ไธŠ่ฟ›่กŒๆจกๅž‹็š„
่ฎญ็ปƒ๏ผŒๅˆฉ็”จGPUไธŽCPU็š„ๅผ‚ๆž„่ฎก็ฎ—ๅœจMNISTๆ•ฐๆฎ้›†ไธŠๅ–ๅพ—ไบ†98.9%็š„่ฏ†ๅˆซๆญฃ็กฎ็Ž‡๏ผŒ
ๅœจCIFAR-10ๆ•ฐๆฎ้›†ไธŠๅ–ๅพ—ไบ†62%็š„่ฏ†ๅˆซๆญฃ็กฎ็Ž‡ใ€‚ๅœจๆœฌๆ–‡ไธญ๏ผŒๆˆ‘ไปฌ่ฟ˜่ฎจ่ฎบไบ†ๅŒ…ๆ‹ฌ้™
็ปดๅœจๅ†…็š„ๅคšไธช็ฅž็ป็ฝ‘็ปœ่ฎพ่ฎกๆŠ€ๅทงไปฅๅŠๅฎž้ชŒไธญๅ‘็Žฐ็š„ไธ€ไบ›็Žฐ่ฑกใ€‚
ๅ…ณ้”ฎ่ฏ๏ผš ๆทฑๅบฆๅญฆไน ๏ผ›ๅ—้™็Žปๅฐ”ๅ…นๆ›ผๆœบ๏ผ›ๆทฑๅบฆ็ฝฎไฟก็ฝ‘็ปœ๏ผ›ๅท็งฏ็ฅž็ป็ฝ‘็ปœ๏ผ›MCMC๏ผ›
GPU่ฎก็ฎ—
- I -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
Abstract
Deep learning as a branch of machine learning which is represented by a full con-
nected neural network named Deep Belief Networks as well as a local connected network
named Convolutional Neural Networks has drawn lots of attention in the ๏ฌeld of arti๏ฌcial
intelligence. Multiple technologies like probabilistic graphical models and Markov Chain
Monte Carlo methods have integrated into deep learning nowadays and they help deep
learning make a great breakthrough in many AI tasks such as speech and image recogni-
tion by training models based on large-scale data. This paper focus on the principles of
Deep Belief Networks and Convolution Neural Network s, and we trained some models
on the MNIST and CIFAR-10 dataset using DBNs or CNNs. As a result, we achieved
98.9% recognition accuracy on MNIST dataset and 62% recognition accuracy on CIFAR-
10 dataset with the help of GPU&CPU-based heterogeneous computing. A number of
phenomena found in our experiments and tricks of designing the neural networks, includ-
ing dimensionality reduction, will also be discussed in this paper.
Keywords: deep learning, restricted boltzmann machines, deep belief networks, convo-
lutional neural networks, Markov chain Monte Carlo, GPU computation
- II -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
็›ฎ ๅฝ•
ๆ‘˜ ่ฆ............................................................................................. I
ABSTRACT ...................................................................................... II
็ฌฌ 1 ็ซ  ็ปช่ฎบ .................................................................................... 1
1.1 ่ฏพ้ข˜ๆฅๆบๅŠ็ ”็ฉถ็š„็›ฎ็š„ๅ’Œๆ„ไน‰ .......................................................... 1
1.2 ๅ›ฝๅ†…ๅค–ๅœจ่ฏฅๆ–นๅ‘็š„็ ”็ฉถ็Žฐ็ŠถๅŠๅˆ†ๆž.................................................... 3
1.2.1 ็ฅž็ป็ฝ‘็ปœไธŽๆทฑๅบฆๅญฆไน ็š„ๅ‘ๅฑ•็Šถๅ†ต................................................. 3
1.2.2 ๆ„Ÿ็Ÿฅๅ™จๆ—ถๆœŸ............................................................................... 3
1.2.3 ๅๅ‘ไผ ๆ’ญๆ—ถๆœŸ ........................................................................... 5
1.2.4 ๆทฑๅบฆๅญฆไน ๆ—ถๆœŸ ........................................................................... 5
1.3 ๆทฑๅบฆๅญฆไน ๅœจไบบๅทฅๆ™บ่ƒฝไธŠ็š„ๅบ”็”จ .......................................................... 6
1.3.1 ่ฏญ้Ÿณ่ฏ†ๅˆซ .................................................................................. 6
1.3.2 ๅ›พๅƒ่ฏ†ๅˆซ .................................................................................. 6
1.3.3 ่‡ช็„ถ่ฏญ่จ€ๅค„็† ........................................................................... 7
็ฌฌ 2 ็ซ  ๆŽงๅˆถ่ฎบไธŽๆœบๅ™จๅญฆไน  .................................................................. 8
2.1 ็™ฝ็›’ๆจกๅž‹ไธŽ็ปๅ…ธๆŽงๅˆถ่ฎบ .................................................................... 8
2.2 ็ฐ็›’ๆจกๅž‹ไธŽ็ณป็ปŸ่พจ่ฏ†........................................................................ 9
2.3 ้ป‘็›’ๆจกๅž‹ไธŽ็ปŸ่ฎกๆœบๅ™จๅญฆไน ................................................................. 9
2.4 ๆœฌ็ซ ๅฐ็ป“ ........................................................................................ 11
็ฌฌ 3 ็ซ  ๅ—้™็Žปๅฐ”ๅ…นๆ›ผๆœบ ..................................................................... 12
3.1 ไผŠ่พ›ๆจกๅž‹ ........................................................................................ 12
3.2 ็Žปๅฐ”ๅ…นๆ›ผๆœบ..................................................................................... 13
3.3 ๅ—้™็Žปๅฐ”ๅ…นๆ›ผๆœบ .............................................................................. 14
3.4 ๆœฌ็ซ ๅฐ็ป“ ........................................................................................ 19
็ฌฌ 4 ็ซ  ้ฉฌๅฐ”ๅฏๅคซ้“พ่’™็‰นๅก็ฝ—ๆ–นๆณ• ......................................................... 20
4.1 ่’™ๅก”ๅก็ฝ—ๆ–นๆณ•ๆ ธๅฟƒๆ€ๆƒณ .................................................................... 20
4.2 ่ˆๅผƒ้‡‡ๆ ท ........................................................................................ 21
4.3 ้‡่ฆๆ€ง้‡‡ๆ ท..................................................................................... 25
4.4 ้ฉฌๅฐ”ๅฏๅคซ้“พ..................................................................................... 27
4.5 Metropolis-Hastings็ฎ—ๆณ• ................................................................... 30
- III -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
4.6 Gibbs้‡‡ๆ ท....................................................................................... 33
4.7 ๅฏนๆฏ”็ฆปๅทฎ ........................................................................................ 35
4.8 ๆœฌ็ซ ๅฐ็ป“ ........................................................................................ 36
็ฌฌ 5 ็ซ  ๆทฑๅบฆ็ฝฎไฟก็ฝ‘็ปœ ........................................................................ 37
5.1 ็ฅž็ป็ฝ‘็ปœ็ป„ๆˆๅŠ่กจ่พพ่ƒฝๅŠ›................................................................. 37
5.1.1 ็ฅž็ปๅ…ƒ ..................................................................................... 37
5.1.2 ้€ป่พ‘่กจ่พพ .................................................................................. 39
5.2 ็ฅž็ป็ฝ‘็ปœ็š„ๅ‰้ฆˆ .............................................................................. 40
5.2.1 ็ฅž็ปๆฟ€ๆดป .................................................................................. 41
5.3 ๅˆ†็ฑปๅ™จ............................................................................................ 45
5.3.1 ๅนณๆ–น่ฏฏๅทฎๅˆ†็ฑปๅ™จ ........................................................................ 45
5.3.2 softmaxๅˆ†็ฑปๅ™จ........................................................................... 46
5.4 ็ฅž็ป็ฝ‘็ปœ็š„ๅ้ฆˆ .............................................................................. 48
5.4.1 ๅˆ†็ฑปๅ™จๅ‚ๆ•ฐๆ กๆญฃ ........................................................................ 49
5.4.2 ่ฏฏๅทฎไผ ๆ’ญ .................................................................................. 51
5.5 ๆทฑๅบฆ็ฝฎไฟก็ฝ‘็ปœ.................................................................................. 53
5.6 ๆœฌ็ซ ๅฐ็ป“ ........................................................................................ 56
็ฌฌ 6 ็ซ  ๅท็งฏ็ฅž็ป็ฝ‘็ปœ ........................................................................ 57
6.1 ๅท็งฏ็ฅž็ป็ฝ‘็ปœ็ปผ่ฟฐ........................................................................... 57
6.2 ๅท็งฏ็ฅž็ป็ฝ‘็ปœ็š„ๅ‰้ฆˆ........................................................................ 59
6.2.1 ๅท็งฏ......................................................................................... 59
6.2.2 ้‡‡ๆ ท......................................................................................... 62
6.2.3 ๅˆ†็ฑปๅ™จ ..................................................................................... 63
6.3 ๅท็งฏ็ฅž็ป็ฝ‘็ปœ็š„ๅ้ฆˆ........................................................................ 63
6.3.1 ๅˆ†็ฑปๅ™จ่ฏฏๅทฎไผ ๆ’ญ ........................................................................ 63
6.3.2 ้‡‡ๆ ทๅฑ‚่ฏฏๅทฎไผ ๆ’ญ ........................................................................ 64
6.3.3 ๅท็งฏๅฑ‚่ฏฏๅทฎไผ ๆ’ญ ........................................................................ 64
6.4 ๆœฌ็ซ ๅฐ็ป“ ........................................................................................ 65
็ฌฌ 7 ็ซ  ็ฅž็ป็ฝ‘็ปœ็š„่ฎพ่ฎกๆŠ€ๅทง ............................................................... 66
7.1 ๆ•ฐๆฎ้ข„ๅค„็†..................................................................................... 66
7.1.1 ้™็ปด......................................................................................... 67
7.1.2 ๆ‰ฉๅฎน......................................................................................... 74
- IV -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
7.2 ่ฎญ็ปƒๆŠ€ๅทง ........................................................................................ 75
7.2.1 ๅญฆไน ็Ž‡ ..................................................................................... 75
7.2.2 ๅŠจ้‡้กน ..................................................................................... 77
7.2.3 ๆƒ่กฐๅ‡ ..................................................................................... 78
7.3 ็ผ–็ ๆŠ€ๅทง ........................................................................................ 79
7.3.1 ้ขๅ‘ๅฏน่ฑกๆŠ€ๆœฏ ........................................................................... 79
7.3.2 ๆขฏๅบฆๆ ก้ชŒ .................................................................................. 80
7.4 ๆœฌ็ซ ๅฐ็ป“ ........................................................................................ 81
็ฌฌ 8 ็ซ  GPU่ฎก็ฎ— .............................................................................. 82
8.1 GPUไฝ“็ณป็ป“ๆž„.................................................................................. 82
8.2 CUDA ............................................................................................ 85
8.3 Cudamat.......................................................................................... 87
8.4 Gnumpy .......................................................................................... 87
8.5 PyCUDA......................................................................................... 88
8.6 Ca๏ฌ€e .............................................................................................. 89
8.7 ๆœฌ็ซ ๅฐ็ป“ ........................................................................................ 90
็ฌฌ 9 ็ซ  ๅฎž้ชŒ็Žฐ่ฑกๅŠ่ฎจ่ฎบ ..................................................................... 91
9.1 ๆ•ฐๆฎ้›†็ฎ€ไป‹..................................................................................... 91
9.1.1 MNIST ..................................................................................... 91
9.1.2 CIFAR-10 ................................................................................. 92
9.2 ๆทฑๅบฆ็ฝฎไฟก็ฝ‘็ปœๅœจMNISTๆ•ฐๆฎ้›†ไธŠ็š„ๆ€ง่ƒฝ............................................. 93
9.3 ๅท็งฏ็ฅž็ป็ฝ‘็ปœๅœจMNISTๆ•ฐๆฎ้›†ไธŠ็š„ๆ€ง่ƒฝ............................................. 96
9.4 ๅท็งฏ็ฅž็ป็ฝ‘็ปœๅœจCIFAR-10ๆ•ฐๆฎ้›†ไธŠ็š„ๆ€ง่ƒฝ......................................... 98
9.5 ไฝฟ็”จCa๏ฌ€eๅฎž็Žฐ็š„CIFAR-10ๆ•ฐๆฎ้›†่ฎญ็ปƒ ............................................... 101
9.6 ๆœฌ็ซ ๅฐ็ป“ ........................................................................................ 103
็ป“ ่ฎบ.............................................................................................104
ๅ‚่€ƒๆ–‡็Œฎ..........................................................................................105
ๅŽŸๅˆ›ๆ€งๅฃฐๆ˜Ž.......................................................................................109
่‡ด ่ฐข.............................................................................................110
้™„ๅฝ• A ๆทฑๅบฆ็ฝฎไฟก็ฝ‘็ปœๆบไปฃ็  ...............................................................111
้™„ๅฝ• B ๅท็งฏ็ฅž็ป็ฝ‘็ปœๆบไปฃ็ ................................................................127
- V -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
็ฌฌ 1 ็ซ  ็ปช่ฎบ
1.1 ่ฏพ้ข˜ๆฅๆบๅŠ็ ”็ฉถ็š„็›ฎ็š„ๅ’Œๆ„ไน‰
ๆœบๅ™จๅญฆไน ไปฅๅŠๆจกๅผ่ฏ†ๅˆซๅ‡ๅฑžไบŽไบบๅทฅๆ™บ่ƒฝ่Œƒ็•ด๏ผŒๆœบๅ™จๅญฆไน ๆบ่‡ชไบŽ่ฎก็ฎ—ๆœบ็ง‘ๅญฆ๏ผŒ
ๆจกๅผ่ฏ†ๅˆซๆบ่‡ชไบŽๅทฅ็จ‹ๅญฆ๏ผŒๅฐฝ็ฎก่ฟ™ไธค่€…ๆบ่‡ชไบŽไธๅŒ็š„่ƒŒๆ™ฏ๏ผŒไฝ†่ฟ™ไธค่€…ๅฏไปฅ่ฎคไธบๆ˜ฏๅŒ
ไธ€ไธช้ข†ๅŸŸไธ‹็š„ไธๅŒๆ่ฟฐ
[1]
ใ€‚่‡ช่ฎก็ฎ—ๆœบๅ‡บ็”Ÿไปฅๆฅ๏ผŒไบบไปฌไธ€็›ด้ƒฝๅœจๆŽข็ดขไธ€ไธช้—ฎ้ข˜๏ผšๆœบ
ๅ™จ่ƒฝๅฆๅฎž็Žฐๆ™บ่ƒฝ๏ผŸ ๆ—ฉๆœŸ็š„ไธ€้ƒจๅˆ†็ ”็ฉถไบบๅ‘˜่ฏ•ๅ›พไปŽไบ‹็‰ฉ็š„ๆœบ็†ๅ‡บๅ‘๏ผŒๅฏปๆ‰พๆจกๅผ่ƒŒๅŽ
็š„่ง„ๅพ‹๏ผŒๆฏ”ๅฆ‚ๅœจ่‡ช็„ถ่ฏญ่จ€ๅค„็†้ข†ๅŸŸ๏ผŒๆœ€ๅˆไบบไปฌไปŽๅˆ†ๆž่ฏญๆณ•่ฏญไน‰ๅผ€ๅง‹๏ผŒไผๅ›พ่ฎฉๆœบๅ™จ
็†่งฃ่‡ช็„ถ่ฏญ่จ€๏ผŒๅนถ่ƒฝๅฎž็Žฐไธ€ไบ›็ฑปไผผไบŽ็ฟป่ฏ‘ไน‹็ฑป็š„ๅทฅไฝœ๏ผŒไฝ†ๅคฑ่ดฅไบ†๏ผŒไธ€ไธช้‡่ฆ็š„ๅŽŸ
ๅ› ๆ˜ฏ่‡ช็„ถ่ฏญ่จ€็š„่ง„ๅˆ™้”™็ปผๅคๆ‚๏ผŒ่ฆๆ‘ธๆธ…ๅ…ถ่ฟไฝœๆœบ็†ๅ“ชๆ€•ไปฅ็›ฎๅ‰็š„ๅญฆ็ง‘ๆฐดๅนณๆฅ็œ‹ไนŸ
ๅ‡ ไนŽๆ˜ฏ้šพไปฅๅฎž็Žฐ็š„ใ€‚
ๅœจ้šๅŽ็š„ไบŒไธ‰ๅๅนด้‡Œ๏ผŒไบบ็ฑปไน่ง‚ๅœฐ่ฎคไธบๅฏไปฅๆ‰พๅˆฐ่‡ช็„ถ่ฏญ่จ€่ƒŒๅŽ็š„่ฟไฝœๆœบ็†๏ผŒ
ไฝ†ๅฎž้ชŒ็ป“ๆžœ้ƒฝไธๅฐฝไบบๆ„๏ผŒๆœบ็†ๅปบๆจก่ฟ™ๆก้“่ทฏ็œ‹่ตทๆฅๅƒๆ˜ฏไธ€ๆกๆญป่ƒกๅŒใ€‚ๅˆฐไบ†ไธŠไธ–็บช
ไนๅๅนดไปฃ๏ผŒ็ปŸ่ฎกๆœบๅ™จๅญฆไน ๅผ€ๅง‹ๆˆไธบไธปๆต๏ผŒ็ป่ฟ‡ไบŒๅๅคšๅนด็š„้ซ˜้€Ÿๅ‘ๅฑ•๏ผŒ็›ฎๅ‰ๅŸบไบŽ็ปŸ
่ฎก็š„ๅปบๆจกๆ–นๆณ•ๆˆไธบไบ†ไธปๆต๏ผŒ่€Œ็ปŸ่ฎกๆœบๅ™จๅญฆไน ๅ–ๅพ—็š„ๆˆๅฐฑ่ฟœๅคงไบŽไธŠไธ–็บชๅ…ญๅๅนดๅˆฐๅˆฐ
ไนๅๅนดไปฃๅ–ๅพ—็š„ๆˆๆžœ๏ผŒๅฝ“็„ถ่ฟ™ไนŸไธๆŽ’้™ค่ฎก็ฎ—ๆœบ่ฟ็ฎ—่ƒฝๅŠ›็š„ๅฝฑๅ“ใ€‚
็›ธๆฏ”ไบŽๆœบ็†ๅปบๆจก๏ผŒ็ปŸ่ฎกๆœบๅ™จๅญฆไน ็š„ๅ‡บๅ‘็‚นๆ˜ฏไปŽๆ•ฐๆฎๅ‡บๅ‘๏ผŒๅปบ็ซ‹ไธ€ไธชๅฏไปฅๅˆป็”ป
ๅทฒๆœ‰ๆ•ฐๆฎ็š„ๆฆ‚็Ž‡ๅˆ†ๅธƒ๏ผŒๅฆ‚ๆžœๅฐ†ๆœบ็†ๅปบๆจกๆฏ”ไฝœๆ˜ฏ็‰›้กฟๅŠ›ๅญฆ๏ผŒ้‚ฃไนˆ็ปŸ่ฎกๅญฆไน ๅฐฑ็›ธๅฝ“ไบŽ
็ปŸ่ฎกๅŠ›ๅญฆใ€‚ไบ‹ๅฎžไธŠ๏ผŒไปŽ็ปŸ่ฎก็š„่ง’ๅบฆไธŠๅŽป่งฃๅ†ณไบบๅทฅๆ™บ่ƒฝ้—ฎ้ข˜ๅนถไธๆ˜ฏไธ€ไธชๆ–ฐ็š„ๆƒณๆณ•๏ผŒ
ๆ—ฉๅœจไธŠไธ–็บชไธƒๅๅนดไปฃ็ปŸ่ฎกๅญฆไน ๅฐฑๅทฒ็ปๅผ€ๅง‹ๅ‡บ็Žฐใ€‚็ปŸ่ฎกๆœบๅ™จๅญฆไน ไฝฟๆˆ‘ไปฌไธๅ†้œ€่ฆ็ ”
็ฉถๆจกๅผ่ƒŒๅŽ็š„่ฟไฝœๆœบ็†๏ผŒๅนถไธ”้€š่ฟ‡ๅฎƒๅฏไปฅๅฎž็Žฐ้€š็”จๅญฆไน ใ€‚ๅฆ‚ๆžœ่ฏดไธ€ไธชไบ‹็‰ฉ่ƒŒๅŽๆœ‰
ไธ€ไธชๅ‡ฝๆ•ฐๅ†ณๅฎšไบ†ๅฎƒ็š„็‰นๆ€ง๏ผŒ้‚ฃไนˆๆˆ‘ไปฌไธๅ†้œ€่ฆ็ ”็ฉถ่ฟ™ไธชๅ‡ฝๆ•ฐ็ฉถ็ซŸๆ˜ฏไป€ไนˆๅฝขๅผ๏ผŒๅช
่ฆๆœ‰่ถณๅคŸๅคš็š„ๆ•ฐๆฎ๏ผŒ้€š่ฟ‡็ปŸ่ฎกๆ–นๆณ•๏ผŒ้€‰ๅ–ๆฐๅฝ“็š„ๆจกๅž‹๏ผŒๆˆ‘ไปฌไพฟๅฏไปฅๅœจไธ€ๅฎš็จ‹ๅบฆไธŠ
ๆ‹Ÿๅˆๅ‡บ่ฟ™ไธชๅ‡ฝๆ•ฐ๏ผŒๅฐฝ็ฎกๆˆ‘ไปฌๆ‹Ÿๅˆๅ‡บ็š„ๅ‡ฝๆ•ฐๅœจๅคงๅคšๆ•ฐๆƒ…ๅ†ตไธ‹้ƒฝไธ็ญ‰ไปทไบŽไบ‹็‰ฉ็š„ๆœฌ่ดจ
ๅ‡ฝๆ•ฐ๏ผŒไฝ†ๅฆ‚ๆžœๅฎƒ่ƒฝๅœจๅฏๅ…่ฎธ็š„่ฏฏๅทฎ่Œƒๅ›ดๅ†…ๆญฃๅธธๅทฅไฝœ๏ผŒ่ฟ™ๅฐฑ่ถณๅคŸไบ†ใ€‚
็ปŸ่ฎกๆœบๅ™จๅญฆไน ๆ–นๆณ•็š„ๅ‡บ็Žฐ๏ผŒไฝฟๅพ—ๅทฅไฝœ้‡็‚น่ฝฌไธบๅฏปๆ‰พๅˆ้€‚็š„ๆจกๅž‹ไธŠ๏ผŒไบ‹ๅฎžไธŠ่ฟ™
ไนŸๆ˜ฏ็ปŸ่ฎกๆœบๅ™จๅญฆไน ๅ…ถๆœฌ่ดจ๏ผš็ป้ชŒ้ฃŽ้™ฉๆœ€ๅฐๅŒ–
[2]
ใ€‚ไนŸๅฐฑๆ˜ฏ่ฏด๏ผŒๆˆ‘ไปฌๅบ”่ฏฅๅฆ‚ไฝ•ๅฏปๆ‰พไธ€
ไธชๅˆ้€‚็š„ๆจกๅž‹๏ผŒไฝฟๅพ—ๆต‹่ฏ•่ฏฏๅทฎๆœ€ๅฐๅŒ–๏ผŸ ็”ฑไบŽๆจกๅž‹็š„้€‰ๅ–ๅ–ๅ†ณไบŽ่ฎพ่ฎก่€…็š„ๆ„ๆ„ฟ๏ผŒๆˆ‘
ไปฌๆ—ขๅฏไปฅ้€‰ๆ‹ฉไธ€ไธช็ฎ€ๅ•็š„ๆจกๅž‹๏ผŒๆฏ”ๅฆ‚็บฟๆ€งๅ‡ฝๆ•ฐ๏ผŒไนŸๅฏไปฅ้€‰ๆ‹ฉไธ€ไธชๅคๆ‚็š„ๅ‡ฝๆ•ฐ๏ผŒๆฏ”
ๅฆ‚้ซ˜ๆฌกๅคš้กนๅผๅ‡ฝๆ•ฐ๏ผŒไฝ†ๆ˜ฏๅฎž้™…้—ฎ้ข˜ไธญ๏ผŒๅคงๅคšๆ•ฐๆƒ…ๅ†ตไธ‹๏ผŒๅฆ‚ๆžœไฝฟ็”จ็ฎ€ๅ•็š„็บฟๆ€งๅ‡ฝๆ•ฐ๏ผŒ
- 1 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ๆ•ฐๆฎๅœจไฝŽ็ปด็ฉบ้—ดไธญๆ˜ฏไธๅฏๅˆ†็š„๏ผŒไธบไบ†ไฝฟๆ•ฐๆฎๅ˜ๅพ—็บฟๆ€งๅฏๅˆ†๏ผŒๆˆ‘ไปฌๅฏไปฅๅฐ†ๆ•ฐๆฎ็”ฑไฝŽ
็ปด็ฉบ้—ดๆ˜ ๅฐ„ๅˆฐ้ซ˜็ปด็ฉบ้—ดไธญ๏ผŒไฝ†่ฟ™็งๆ–นๆกˆๅผ•ๅ…ฅไบ†ๅบžๅคง็š„่ฟ็ฎ—ไปฅ่‡ณไบŽ่ฎก็ฎ—ๆœบ้šพไปฅ่ฎก็ฎ—๏ผŒ
ๆˆ‘ไปฌ็งฐ่ฟ™็ง็Žฐ่ฑกไธบโ€œ็ปดๆ•ฐ็พ้šพโ€๏ผŒๅณ้š็€็ปดๆ•ฐ็š„็บฟๆ€งๅขžๅŠ ๏ผŒ่ฎก็ฎ—้‡ๆŒ‡ๆ•ฐๅœฐๅขžๅคงใ€‚
ๅˆๆˆ–่€…๏ผŒๆˆ‘ไปฌไธ€ๅผ€ๅง‹ๅฐฑไธไฝฟ็”จ็บฟๆ€งๅ‡ฝๆ•ฐ่€Œไฝฟ็”จ่พƒไธบๅคๆ‚็š„ๅ‡ฝๆ•ฐๆฏ”ๅฆ‚้ซ˜ๆ–ฏๅ‡ฝๆ•ฐๅฎž็Žฐ
้ž็บฟๆ€งๅˆ†ๅ‰ฒ๏ผŒไฝ†็”ฑไบŽๆˆ‘ไปฌไธ็Ÿฅ้“ๆ•ฐๆฎ็š„ๅˆ†ๅธƒๅฝขๅผ๏ผŒไนŸ้šพไปฅๅฐ†ๅฎž้™…้—ฎ้ข˜ไธญ็š„้ซ˜็ปดๆ•ฐ
ๆฎๅฏ่ง†ๅŒ–๏ผŒๆ‰€ไปฅ้™ค้žๆˆ‘ไปฌๆœ‰ๅ…ณไบŽๆ•ฐๆฎๅˆ†ๅธƒ็š„ๅ…ˆ้ชŒ็Ÿฅ่ฏ†๏ผŒๅฆๅˆ™ๅนถไธ็Ÿฅ้“ๆˆ‘ไปฌ้€‰ๅ–็š„
่ฟ™ไธชๅคๆ‚็š„ๅ‡ฝๆ•ฐๆ˜ฏๅฆๆ˜ฏๅˆ็†็š„ใ€‚
ไธบไบ†่งฃๅ†ณ็ปดๆ•ฐ็พ้šพ๏ผŒๆˆ‘ไปฌๅฏไปฅไฝฟ็”จๆ ธๅ‡ฝๆ•ฐ๏ผŒๅœจไฝŽ็ปด็ฉบ้—ดไธญ็›ดๆŽฅ่ฎก็ฎ—้ซ˜็ปด็ฉบ้—ด
่ฟ”ๅ›ž็š„็ป“ๆžœ๏ผŒ้ฟๅผ€ไบ†้ซ˜็ปด็ฉบ้—ด็š„่ฟ็ฎ—๏ผŒ่ฟ™็งๆ–นๆณ•ไนŸ่ขซ็งฐไน‹ไธบๆ ธๆ–นๆณ•๏ผŒๆฏ”ๅฆ‚ไธŠไธ–็บช
ไนๅๅนดไปฃๆๅ‡บ็š„ๆ”ฏๆ’‘ๅ‘้‡ๆœบ๏ผˆkernel-SVM๏ผ‰ๅฐฑๆ˜ฏไธ€็งไฝฟ็”จไบ†ๆ ธๆ–นๆณ•็š„ๅˆ†็ฑปๅ™จใ€‚่€Œ
ๅฆ‚ๆžœไธบไบ†้ฟๅ…ๅคๆ‚ๅ‡ฝๆ•ฐ็š„้€‰ๅ–้—ฎ้ข˜๏ผŒๆˆ‘ไปฌๅฏไปฅไฝฟ็”จ็ฅž็ป็ฝ‘็ปœใ€‚็ฅž็ป็ฝ‘็ปœๅŸบไบŽไธ€็ง
ๅ‡่ฏดโ€”โ€“ๆ™บ่ƒฝๆบ่‡ชไบŽๅ•ไธ€็š„็ฎ—ๆณ•๏ผŒๅœจ็ฅž็ป็ฝ‘็ปœไธญ๏ผŒๆˆ‘ไปฌๅช้œ€้€‰ๅ–ๆฟ€ๆดปๅ‡ฝๆ•ฐ๏ผŒๅณๆ‰€่ฐ“
็š„โ€œๅ•ไธ€็š„็ฎ—ๆณ•โ€๏ผŒ็„ถๅŽ่ฎญ็ปƒ็ฝ‘็ปœ็š„่ฟžๆŽฅๆƒๅ€ผ๏ผŒไปŽ่€Œ่ทณ่ฟ‡ๅ‡ฝๆ•ฐ้€‰ๅ–ๆญฅ้ชคใ€‚
ๅ…ณไบŽ็ฅž็ป็ฝ‘็ปœ็š„่กจ่พพ่ƒฝๅŠ›ๆ–น้ข๏ผŒๅœจ็†่ฎบไธŠ๏ผŒๆŸฏๅฐ”่Žซๆ ผๆด›ๅคซ๏ผˆKolmogorov๏ผ‰่ฏ
ๆ˜Žไบ†๏ผšๅช่ฆ็ป™ไบˆ่ถณๅคŸๅคš็š„็ฅž็ปๅ…ƒใ€ๅˆ้€‚็š„ๆฟ€ๆดปๅ‡ฝๆ•ฐไปฅๅŠๆฐๅฝ“็š„ๆƒๅ€ผ๏ผŒไปปไฝ•ไปŽ่พ“ๅ…ฅ
ๅˆฐ่พ“ๅ‡บ็š„่ฟž็ปญๆ˜ ๅฐ„ๅ‡ฝๆ•ฐ้ƒฝๅฏไปฅ็”จไธ‰ๅฑ‚็ฅž็ป็ฝ‘็ปœๅฎž็Žฐใ€‚ๅฆ‚ๆžœไปŽๅ‚…้‡Œๅถ็†่ฎบไธŠ็œ‹๏ผŒๅˆ™
็›ธๅฝ“ไบŽ๏ผšไปปไฝ•่ฟž็ปญๅ‡ฝๆ•ฐ้ƒฝๅฏไปฅ็”จ่ถณๅคŸๅคš็š„่ฐๆณขๆฅ้€ผ่ฟ‘
[3]
ใ€‚
ๆŸฏ ๅฐ” ่Žซ ๆ ผ ๆด› ๅคซ ็š„ ๅฎš ็† ่ฏด ๆ˜Ž ไบ† ็ฅž ็ป ็ฝ‘ ็ปœ ็š„ ่กจ ่พพ ่ƒฝ ๅŠ› ไธŽ ็ฅž ็ป ็ฝ‘ ็ปœ ็š„ ๅฑ‚
ๆ•ฐ ๆ—  ๅ…ณ๏ผŒ ๅช ไธŽ ็ฅž ็ป ๅ…ƒ ็š„ ๆ•ฐ ็›ฎ ๆœ‰ ๅ…ณ๏ผŒ ไผผ ไนŽ ๆˆ‘ ไปฌ ๆฒก ๆœ‰ ๅฟ… ่ฆ ๅŠ  ๆทฑ ็ฝ‘ ็ปœ ็š„ ๆทฑ ๅบฆ๏ผŒ
ไฝ†HastadไธŽGoldmannๅœจ1991ๅนดๆๅ‡บไบ†ไปฅไธ‹ๅฎš็†
[4]
ๅฎš็† 1.1 ไธบไบ†่ฎก็ฎ—ไธ€ไธชๅ‡ฝๆ•ฐ f
k
โˆˆ F
k,N
๏ผŒๆทฑๅบฆไธบk โˆ’ 1็š„ๅ•่ฐƒๅŠ ๆƒ้—จ้™็”ต่ทฏๆ‰€้œ€็š„่ง„ๆจก
่‡ณๅฐ‘ไธบ2
cN
๏ผŒๅ…ถไธญๅธธๆ•ฐc > 0๏ผŒN > N
0
็”ฑไบŽ็ฅž็ป็ฝ‘็ปœไธŽ็”ต่ทฏ็š„่”็ณปๅๅˆ†ๅฏ†ๅˆ‡๏ผŒๅฆ‚ๆžœๅฐ†ๅฎš็†1.1 ่ฝฌๅŒ–ไธบ็ฅž็ป็ฝ‘็ปœ็š„ๆœฏ
่ฏญ๏ผŒๅˆ™ไธบ๏ผšๆทฑๅบฆไธบk็š„็ฅž็ป็ฝ‘็ปœๆ‰€่ƒฝ่กจ่พพ็š„ๅ‡ฝๆ•ฐ๏ผŒๆทฑๅบฆไธบk โˆ’ 1็š„็ฅž็ป็ฝ‘็ปœไธบไบ†่พพๅˆฐ
ๅŒๆ ท็š„ๆ•ˆๆžœ่‡ณๅฐ‘้œ€่ฆๅผ•ๅ…ฅๆŒ‡ๆ•ฐ็บง่ง„ๆจก็š„่Š‚็‚นใ€‚
ๅ€˜่‹ฅไปŽๅคง่„‘็ง‘ๅญฆ็š„่ง’ๅบฆๆ€่€ƒ๏ผŒๆˆ‘ไปฌๅทฒ็ป็Ÿฅ้“๏ผŒๅ“บไนณๅŠจ็‰ฉ็š„ๅคง่„‘ๆ˜ฏไธ€ไธชๆทฑๅบฆ็ป“
ๆž„๏ผŒๅฎƒๅฏไปฅๅฐ†่พ“ๅ…ฅ็š„ๆจกๅผๅœจๅคšไธชๅฑ‚ๆฌกไธŠ่ฟ›่กŒๆŠฝ่ฑกๅ†่กจ่พพ๏ผŒ่€Œๆฏไธชๅฑ‚ๆฌกๅฏนๅบ”็€็šฎๅฑ‚
็š„ไธๅŒๅŒบๅŸŸใ€‚ไปฅๅคง่„‘ๅœจ่ง†่ง‰็ณป็ปŸไธŠ็š„ๅทฅไฝœๆœบ็†ไธบไพ‹๏ผŒๅ…ถๅทฅไฝœ่ฟ‡็จ‹ไพๆฌก็ป่ฟ‡ๅฆ‚ไธ‹ๅ‡ 
ไธชๆญฅ้ชค๏ผš่พน็•Œๆฃ€ๆต‹ใ€ๅŸบๆœฌๅค–ๅฝขๅปบ็ซ‹ใ€้€ๆธๅœฐๅฎŒๅ–„ๆ›ดไธบ่ฏฆๅฐฝๅค–ๅฝข
[5]
ใ€‚
ๅœจๅฎš็†1.1ไปฅๅŠๅคง่„‘็ง‘ๅญฆ็š„ๅฏๅ‘ไธ‹๏ผŒๆˆ‘ไปฌๅฏนๆทฑๅบฆ็ฅž็ป็ฝ‘็ปœๅ……ๆปกไฟกๅฟƒ๏ผŒๅ› ๆญค็ฅž็ป
็ฝ‘็ปœ็ ”็ฉถไบบๅ‘˜่Šฑ่ดนๆ•ฐๅๅนด่‡ดๅŠ›ไบŽๆทฑๅบฆ็ฅž็ป็ฝ‘็ปœ็š„็ ”็ฉถ๏ผŒ็„ถ่€Œ็›ดๅˆฐ2006ๅนดไน‹ๅ‰
[6, 7]
๏ผŒ
ๆˆ‘ไปฌ้ƒฝ้šพไปฅๆ‰พๅˆฐไธ€ไธช่พƒๅฅฝ็š„็ฎ—ๆณ•ๆฅ่ฎญ็ปƒๆทฑๅบฆ็ฅž็ป็ฝ‘็ปœ๏ผŒๅ…ถๅŽŸๅ› ไธ€ๆ–น้ขๆ˜ฏๆทฑๅบฆ็ฅž็ป
็ฝ‘็ปœๅฑ€้ƒจๆœ€ไผ˜่งฃ็นๅคš๏ผŒๅฏผ่‡ดๆทฑๅบฆ็ฅž็ป็ฝ‘็ปœๆฏ”ๆต…ๅฑ‚็ฅž็ป็ฝ‘็ปœๆ›ดๅฎนๆ˜“้™ทๅ…ฅๅฑ€้ƒจๆœ€ๅฐๅ€ผ๏ผŒ
- 2 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ๅฆไธ€ๆ–น้ขๅˆ™ๆ˜ฏๅ—่ฎก็ฎ—ๆœบ่ฟ็ฎ—่ƒฝๅŠ›็š„้™ๅˆถ
[8]
ใ€‚
2006ๅนดHintonๆๅ‡บไบ†ๅ—้™็Žปๅฐ”ๅ…นๆ›ผๆœบไปฅๅŠๆทฑๅบฆ็ฝฎไฟก็ฝ‘็ปœ็š„่ฎญ็ปƒๆ–นๆณ•๏ผŒ้€š่ฟ‡่ดช
ๅฉช้€ๅฑ‚ๅœฐ่ฎญ็ปƒ
[9]
๏ผŒๆˆๅŠŸๅœฐๅฎž็Žฐไบ†็ฌฌไธ€ไธชๆทฑๅบฆ็ฅž็ป็ฝ‘็ปœ๏ผŒ้šๅŽๆทฑๅบฆ็ฅž็ป็ฝ‘็ปœๅˆๅ‘ๅฑ•
ๅค„ๆทฑๅบฆๅท็งฏ็ฝ‘็ปœใ€็จ€็–่‡ชๅŠจ็ผ–็ ๆœบ
[10]
็ญ‰ๆ–นๆณ•๏ผŒ่ฟ™ไบ›ๆ–นๆณ•่ขซ็ปŸ็งฐไธบๆทฑๅบฆๅญฆไน ใ€‚็›ฎ
ๅ‰๏ผŒๆทฑๅบฆๅญฆไน ๅทฒๅบ”็”จๅˆฐๅˆ†็ฑปใ€ๅ›žๅฝ’ใ€่š็ฑปใ€้™็ปด
[11]
ใ€่‡ช็„ถ่ฏญ่จ€ๅค„็†ใ€ไฟกๆฏๆฃ€็ดขใ€
ๆœบๅ™จไบบๅญฆ็ญ‰ไปปๅŠกไธญ๏ผŒไธ”ๅœจๆŸไบ›้ข†ๅŸŸไธญๅ…ถๅบ”็”จๆ•ˆๆžœๅทฒ่ฟœ่ฟœ่ถ…่ถŠไปฅๅ‰็š„ๆœบๅ™จๅญฆไน ๆ–น
ๆณ•ใ€‚
1.2 ๅ›ฝๅ†…ๅค–ๅœจ่ฏฅๆ–นๅ‘็š„็ ”็ฉถ็Žฐ็ŠถๅŠๅˆ†ๆž
2015ๅนด5ๆœˆ๏ผŒNatureไธบ็บชๅฟตไบบๅทฅๆ™บ่ƒฝ60ๅ‘จๅนดๅผ€่พŸไบ†โ€ไบบๅทฅๆ™บ่ƒฝไธŽๆœบๅ™จไบบโ€ไธ“้ข˜๏ผŒ
ๅ›ž้กพไบ†่ฟ‡ๅŽป็š„็ ”็ฉถๅŽ†็จ‹ไธŽๅฝ“ไปŠ็š„็ ”็ฉถ็ƒญ็‚น๏ผŒๅ…ถไธญๆทฑๅบฆๅญฆไน ไฝœไธบไธ€ไธช็ƒญ็‚น่ขซๅŠ ไปฅไป‹
็ป
[12]
ใ€‚็›ฎๅ‰ๆทฑๅบฆๅญฆไน ๅœจๅ›ฝๅ†…ๅค–้ƒฝๅ—ๅˆฐๅนฟๆณ›ๅ…ณๆณจ๏ผŒๆ–ฐ็š„ๆทฑๅบฆๅญฆไน ็ฎ—ๆณ•ๆบๆบไธๆ–ญๅœฐ่ขซ
ๆๅ‡บ๏ผŒๅœจไธไน…็š„ๅฐ†ๆฅ๏ผŒๆทฑๅบฆๅญฆไน ๅฐ†ไผšๅ–ๅพ—ๆ›ดๅคš็š„ๆˆๅŠŸใ€‚
1.2.1 ็ฅž็ป็ฝ‘็ปœไธŽๆทฑๅบฆๅญฆไน ็š„ๅ‘ๅฑ•็Šถๅ†ต
ๆ•ฐๅๅนดๆฅ๏ผŒ็ฅž็ป็ฝ‘็ปœ็ ”็ฉถไบบๅ‘˜ๅœจ็ฅž็ป็ง‘ๅญฆไธŠไป˜ๅ‡บไบ†ๅทจๅคงๅฟƒ่ก€๏ผŒๅ…ถ็ ”็ฉถไน‹ๆทฑๅ…ฅ๏ผŒ
่Œƒๅ›ดไน‹ๅนฟ๏ผŒๅ†…ๅฎนไน‹็นๆ‚ๆ˜ฏๅˆซ็š„ๆœบๅ™จๅญฆไน ๆ–นๆณ•ๆ‰€้šพไปฅไผๅŠ็š„ใ€‚ๆˆ‘ไปฌไปŠๅคฉ็œ‹ๅˆฐ็š„ๆทฑๅบฆ
ๅญฆไน ๅชๆ˜ฏ็ฅž็ป่ฎก็ฎ—็ง‘ๅญฆไธญ็š„ๅ†ฐๅฑฑไธ€่ง’๏ผŒๅœจๅฎƒไน‹ไธ‹๏ผŒๆ˜ฏๅ‡ ๅๅนดๆŽข็ดข็งฏ็ดฏ่ตทๆฅ็š„ๅคฑ่ดฅ
็ป้ชŒ๏ผŒ่ฟ™ไบ›ๆจกๅž‹ไธญไธไน่ง‚็‚นๆ–ฐ้ข–ๅดๆ— ๆณ•ๅทฅไฝœ็š„ๆจกๅž‹ใ€‚่ฟ™ไนˆๅคšๅนดๆฅ็ ”็ฉถไบบๅ‘˜่ฏ•ๅ›พๅฐ†
็ฅž็ป็ฝ‘็ปœ็†่ฎบๅŒ–๏ผŒ็„ถ่€Œๅˆฐ็›ฎๅ‰ไธบๆญข่ฟ™้กนๅทฅไฝœไพ็„ถๆฒกๆœ‰ๅฎž็Žฐใ€‚
1.2.2 ๆ„Ÿ็Ÿฅๅ™จๆ—ถๆœŸ
ๅ…ณไบŽ็ฅž็ป็ฝ‘็ปœ็š„ๆƒณๆณ•็”ฑๆฅๅทฒไน…๏ผŒ่ฟœๅœจ1800ๅนดไบบไปฌๅทฒ็ปๅผ€ๅง‹็ ”็ฉถ็ฅž็ป็ฝ‘็ปœ๏ผŒ
1943ๅนดๅฟƒ็†ๅญฆๅฎถWarren McCullochไธŽๆ•ฐ็†้€ป่พ‘ๅญฆWalter Pittsๅœจๆ€ป็ป“ๅ‰ไบบๅ…ณไบŽ็ฅž็ปๅทฅ
ไฝœๅŽŸ็†็š„ๅŸบ็ก€ไธŠๅฐ†็ฅž็ปๅ…ƒๅทฅไฝœๆ•ฐ็†ๅŒ–๏ผŒ้šๅŽๅ†ฏยท่ฏบไพๆ›ผๅœจ้ข†ๅฏผ่ฎก็ฎ—ๆœบ่ฎพ่ฎกๆ—ถ่ฏ•ๅ›พ
ไฝฟ็”จ็ฅž็ป็ฝ‘็ปœ็š„ๅฝขๅผ่€Œไธๆ˜ฏ็›ฎๅ‰็š„ๆŒ‡ไปคๅฝขๅผ
[13]
๏ผŒ้™ไบŽๅฝ“ๆ—ถ็ง‘ๆŠ€ๆฐดๅนณ้™ๅˆถๆœ€ๅŽๅนถ
ๆฒกๆœ‰้‡‡็”จ็ฅž็ป็ฝ‘็ปœ็š„ๆ–นๆกˆใ€‚้š็€ไบŒๅไธ–็บชๅ…ญๅๅนดไปฃๆŽงๅˆถ่ฎบๅ…ด่ตทไปฅๅŠ่ฎก็ฎ—ๆœบ็š„ๅ‡บ
็Žฐ๏ผŒ่”ๆŽฅไธปไน‰ๅญฆ่€…่ฟซๅˆ‡ๅœฐๆœŸๅพ…ๅปบ็ซ‹ไธ€ไธชๅฏ็”จ็š„็ฅž็ป็ฝ‘็ปœๆ•ฐๅญฆๆจกๅž‹๏ผŒๅœจ่ฟ™ไธช็Žฏๅขƒไธญ๏ผŒ
ๅ—Warren McCullochไธŽWalter Pittsไธคไบบๅทฅไฝœ็š„ๅฏๅ‘ไธ‹๏ผŒFrank Rosenblattๆๅ‡บไบ†็ฌฌไธ€
ไธช็ฅž็ปๅ…ƒๆจกๅž‹โ€”-ๆ„Ÿ็Ÿฅๅ™จ
[14]
๏ผŒ่ฟ™ๆ ‡ๅฟ—็€็ฅž็ป็ฝ‘็ปœ่ฟ›ๅ…ฅ็ฌฌไธ€ๆฌกๆตชๆฝฎใ€‚
- 3 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ๅ›พ 1-1 ๆ„Ÿ็Ÿฅๅ™จๆจกๅž‹
ๅฆ‚ๅ›พ1-1 ๆ‰€็คบ๏ผŒๅœจๆ„Ÿ็Ÿฅๅ™จไธญ๏ผŒๅซๆœ‰dไธช่พ“ๅ…ฅๅ’Œ1ไธช่พ“ๅ‡บ๏ผŒๅ…ถไธญ้ž็บฟๆ€งๆฟ€ๆดปๅ‡ฝๆ•ฐไธบ
้˜ถ่ทƒๅ‡ฝๆ•ฐ๏ผŒๅณ
y =
๏ฃฑ
๏ฃด
๏ฃด
๏ฃด
๏ฃฒ
๏ฃด
๏ฃด
๏ฃด
๏ฃณ
1 ่‹ฅฮธ
T
x โˆ’ b โ‰ฅ 0
0 ๅ…ถไป–
(1-1)
ๅผไธญbไธบๅ็ฝฎ้กน๏ผŒๆœ‰ๆ—ถไนŸ็งฐไน‹ไธบ้˜ˆๅ€ผใ€‚ๅฆ‚ๆžœไปŽ็ฅž็ป็ง‘ๅญฆ็š„่ง’ๅบฆไธŠ่งฃ้‡Š๏ผŒๅœจๆ„Ÿ็Ÿฅ
ๅ™จไธญ๏ผŒๅ‘้‡x็›ธๅฝ“ไบŽ็ฅž็ปๅ…ƒๆŽฅๆ”ถๅˆฐ็š„ๅˆบๆฟ€๏ผŒ่€Œฮธ
T
x็›ธๅฝ“ไบŽๅˆบๆฟ€็š„ๅ ๅŠ ใ€‚ๅฝ“ๆ€ป็š„ๅˆบ
ๆฟ€้‡ๅˆฐ่พพไธ€ๅฎš้˜ˆๅ€ผbๆ—ถ๏ผŒ็ฅž็ปๅ…ƒ่ขซๆฟ€ๆดป๏ผŒๅณy = 1๏ผŒๅฆๅˆ™็ฅž็ปๅ…ƒๅฏนๅˆบๆฟ€ไธไฝœๅๅบ”๏ผŒ
ๅณy = 0ใ€‚
ไผด้šๆ„Ÿ็Ÿฅๅ™จไธ€ๅŒ่ขซๆๅ‡บ็š„่ฟ˜ๅŒ…ๆ‹ฌๆ„Ÿ็Ÿฅๅ™จ่ฎญ็ปƒ็ฎ—ๆณ•๏ผŒๅ…ถๆ–นๆณ•ๅ€Ÿ้‰ดไบ†็”Ÿ็†ๅญฆไธญๅ…ณ
ไบŽๅ้ฆˆๆ–น้ข็š„ๆ€ๆƒณ๏ผŒ้€š่ฟ‡ๅผ•ๅ…ฅๅฅ–ๅŠฑไธŽๆƒฉ็ฝš็š„ๆฆ‚ๅฟต๏ผŒๅฝ“ๆŸไธช่ฎญ็ปƒๆ ทๆœฌ่ขซๆญฃ็กฎๅˆ†็ฑปๆ—ถ๏ผŒ
ๅ‚ๆ•ฐ็ปดๆŒไธๅ˜๏ผŒ่‹ฅ่ฏฅๆ ทๆœฌ่ขซ้”™่ฏฏๅˆ†็ฑป๏ผŒๅˆ™้€š่ฟ‡ๆƒฉ็ฝš้กนๅฏนๅฏนๅ‚ๆ•ฐ่ฟ›่กŒๆ›ดๆ–ฐ
[2]
ใ€‚
ๅพ—็›ŠไบŽ้ž็บฟๆ€ง็š„ๆฟ€ๆดปๅ‡ฝๆ•ฐ๏ผŒๆ„Ÿ็Ÿฅๅ™จ็ฝ‘็ปœๅฏไปฅๅฎž็Žฐ้€ป่พ‘ๅŠŸ่ƒฝไปฅๅŠ้ž็บฟๆ€งๅˆ†็ฑปไปป
ๅŠกใ€‚ไพ‹ๅฆ‚๏ผŒๅœจ่พ“ๅ…ฅ็ปดๅบฆไธบ2็š„ๆ„Ÿ็Ÿฅๅ™จ็ฝ‘็ปœไธญ๏ผŒ่‹ฅ็ฝ‘็ปœๅ‚ๆ•ฐฮธ = [โˆ’2, โˆ’2]
T
๏ผŒๅ็ฝฎb = 3๏ผŒ
ๆญคๆ—ถ๏ผŒ่ฟ™็ป„ๅ‚ๆ•ฐๆž„ๆˆ็š„ๆ„Ÿ็Ÿฅๅ™จๅณไธบ้—จ็”ต่ทฏไธญ็š„ไธŽ้ž้—จใ€‚็”ฑไบŽไธŽ้ž้—จๅฏไปฅๆž„ๆˆไธŽใ€
ๆˆ–ใ€้žไธ‰็งๅŸบๆœฌ้€ป่พ‘้—จ๏ผŒ่€Œ่ฟ™ไธ‰่€…ๅˆๅฏไปฅๆž„ๆˆๆ‰€ๆœ‰็š„้€ป่พ‘ๅ‡ฝๆ•ฐ๏ผŒๅ› ๆญคๆˆ‘ไปฌๆœ‰็†็”ฑ
็›ธไฟก๏ผŒๆฐๅฝ“็š„ๆ„Ÿ็Ÿฅๅ™จ็ฝ‘็ปœๅฏไปฅๅฎž็Žฐ้€ป่พ‘ๅŠŸ่ƒฝใ€‚ไบ‹ๅฎžไธŠ๏ผŒๅ…ญๅๅนดไปฃๆ„Ÿ็Ÿฅๅ™จ็ฝ‘็ปœ็š„ๆ
ๅ‡บ๏ผŒไนŸ็กฎๅฎž่งฃๅ†ณไบ†ไธ€ไบ›็ฎ€ๅ•็š„ไบบๅทฅๆ™บ่ƒฝไปปๅŠกใ€‚
็ฅž็ป็ฝ‘็ปœ็ฌฌไธ€ๆฌกๆตชๆฝฎๅชๆŒ็ปญไบ†ๅคง็บฆๅๅนดๅทฆๅณ๏ผŒ็ฉถๅ…ถๅŽŸๅ› ๏ผŒไธ€ๆ–น้ข๏ผŒๅ…ญๅๅนดไปฃ
ๆ˜ฏ็”ตๅญ่ฎก็ฎ—ๆœบๅˆšๅˆšๅ…ด่ตท็š„ๅนดไปฃ๏ผŒไบบไปฌๆ›ดๅคšๅœฐๅ…ณๆณจไบŽ่ฎก็ฎ—ๆœบ๏ผŒๅฏผ่‡ดๆ„Ÿ็Ÿฅๅ™จ็ฝ‘็ปœๅพ—ไธ
ๅˆฐ้‡่ง†๏ผŒๅฆไธ€ๆ–น้ข๏ผŒ้™ไบŽ็”ตๅญ็ฎกๅŠๆ—ฉๆœŸๆ™ถไฝ“็ฎก็š„ๅทฅ่‰บ๏ผŒ่€—่ดนๅคง้‡็š„่ต„ๆบๆฅๅปบ็ซ‹ไธ€
ไธชๆ„Ÿ็Ÿฅๅ™จ็ฝ‘็ปœไผผไนŽไนŸไธๅคช็Žฐๅฎžใ€‚ๆญคๅค–๏ผŒไบบไปฌไธ€็›ดๆฒกๆœ‰ๆ‰พๅˆฐไธ€็ง่ƒฝ่พƒๅฅฝๅœฐ่ฎญ็ปƒๅคšๅฑ‚
ๆ„Ÿ็Ÿฅๅ™จ็ฝ‘็ปœ็š„็ฎ—ๆณ•๏ผŒๅฏผ่‡ดไบ†ๅคงๆ‰น็ฅž็ป็ฝ‘็ปœๅญฆ่€…ๅฏนๅ…ถๅคฑๅŽปไฟกๅฟƒ๏ผŒๅ› ๆญค๏ผŒๅœจๅ…ญๅๅนดไปฃ
ๆœซๆœŸ๏ผŒ็ฅž็ป็ฝ‘็ปœ็š„็ ”็ฉถ่ฟ›ๅ…ฅ็ฌฌไธ€ไธชไฝŽ่ฐทใ€‚
- 4 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
1.2.3 ๅๅ‘ไผ ๆ’ญๆ—ถๆœŸ
็ฅž็ป็ฝ‘็ปœ็ ”็ฉถๅœจๅ…ซๅๅนดไปฃ่ฟ›ๅ…ฅ็ฌฌไบŒๆฌกๆตชๆฝฎ๏ผŒๆœ€้‡่ฆ็š„ๅŽŸๅ› ๆ˜ฏ1986ๅนดHintonใ€
Remelhartๅ’ŒWilliams็ญ‰ไบบๆๅ‡บไบ†ๅๅ‘ไผ ๆ’ญ็ฎ—ๆณ•
[15]
๏ผŒ้ฆ–ๆฌกๅœจๆ‰‹ๅ†™ๆ•ฐๅญ—่ฏ†ๅˆซไปปๅŠกไธŠไฝฟ
็”จๅๅ‘ไผ ๆ’ญ่ฎญ็ปƒ็š„็ฅž็ป็ฝ‘็ปœ๏ผŒๅ–ๅพ—ไบ†่พƒๅฅฝ็š„ๆ•ˆๆžœใ€‚ๆญคๅค–๏ผŒๅคง่ง„ๆจก้›†ๆˆ็”ต่ทฏ็š„ๅ‘ๅฑ•
ไปฅๅŠsigmoid็ญ‰ๆ–ฐ็š„ๆฟ€ๆดปๅ‡ฝๆ•ฐ็š„ๅบ”็”จไนŸๅพˆๅคง็จ‹ๅบฆ็จ‹ๅบฆไธŠๆŽจๅŠจไบ†็ฅž็ป็ฝ‘็ปœ็š„ๅ‘ๅฑ•ใ€‚
ๅๅ‘ไผ ๆ’ญ็ฎ—ๆณ•้€š่ฟ‡้“พๅผๆฑ‚ๅฏผ๏ผŒๅฐ†ๅๅฏผๆ•ฐไปŽ้ซ˜ๅฑ‚ไผ ้€ๅ›žไฝŽๅฑ‚๏ผŒไฝฟๅพ—ๅคšๅฑ‚ๆ„Ÿ็Ÿฅๅ™จ
็ฝ‘็ปœไธญๅฏไปฅไฝฟ็”จ็ฎ€ๅ•็š„ๆขฏๅบฆไธ‹้™ๆ–นๆณ•่ฟ›่กŒ่ฎญ็ปƒ๏ผŒๅฐคๅ…ถๆ˜ฏๅœจไธ‰ๅฑ‚ๆ„Ÿ็Ÿฅๅ™จ็ฝ‘็ปœไธญๆ•ˆๆžœ
ๆ˜พ่‘—ใ€‚้šๅŽ๏ผŒๆ„Ÿ็Ÿฅๅ™จ็ฝ‘็ปœไนŸๆ”นๅไธบ็ฅž็ป็ฝ‘็ปœ๏ผŒๅฐฝ็ฎกๅฆ‚ๆญค๏ผŒ็ฅž็ป็ฝ‘็ปœๅชๆ˜ฏไบบไธบไธป่ง‚
ๅœฐๅฏน็ฅž็ปๅ…ƒๅปบๆจก๏ผŒๅ…ถๆœฌ่ดจไธŽ็”Ÿ็‰ฉ็š„็ฅž็ป็ณป็ปŸๆ˜ฏๆฒกๆœ‰ๅคชๅคง่”็ณป็š„๏ผŒไพ‹ๅฆ‚็ฅž็ปๅ…ทๆœ‰ๅฑ€
้ƒจ็จ€็–ๆ€ง่€Œ็ฅž็ป็ฝ‘็ปœๆ˜ฏ้žๅฑ€้ƒจ็š„๏ผŒๅ› ๆญค็ฅž็ป็ฝ‘็ปœๅœจ็”Ÿ็‰ฉๅญฆไธŠ่ขซๆ‰น่ฏ„ไธบ็ผบไน็œŸๅฎž
ๆ€งใ€‚
ๅœจ่ฟ™ไธชๆ—ถๆœŸ๏ผŒๆ–ฐ็š„ๆจกๅž‹ไธๆ–ญๅœฐ่ขซๆๅ‡บ๏ผŒๆฏ”ๅฆ‚ไฝฟ็”จHebb่ง„ๅˆ™ๅ…จ่ฟžๆŽฅ็š„ๅ้ฆˆ็ฝ‘
็ปœHop๏ฌeld็ฝ‘็ปœ
[16]
ใ€ๅฐ†Hop๏ฌeld็ฝ‘็ปœ้šๆœบๅŒ–ๅŽ็š„็Žปๅฐ”ๅ…นๆ›ผๆœบ
[17]
ใ€ๅ…ทๅค‡ๆจกๅผๅ˜ๆขไธๅ˜
ๆ€ง็š„ๅท็งฏ็ฝ‘็ปœ็ญ‰
[3]
๏ผŒๆญคๅค–๏ผŒไธ€ไบ›ๆ–ฐ็š„ๆŠ€ๆœฏไพ‹ๅฆ‚ๅฟซ้€Ÿไผ ๆ’ญใ€ๅ…ฑ่ฝญๆขฏๅบฆ็ญ‰ไนŸ่ขซๅบ”็”จๅˆฐ
็ฅž็ป็ฝ‘็ปœไธญใ€‚
ไนๅๅนดไปฃไบบไปฌๅผ€ๅง‹ๅฐ่ฏ•ๅปบ็ซ‹ๆทฑๅบฆ็ฅž็ป็ฝ‘็ปœ๏ผŒไฝ†้š็€็ฝ‘็ปœๆทฑๅบฆ็š„ๅŠ ๅคง๏ผŒๅฑ€้ƒจๆœ€
ไผ˜่งฃๅขžๅคš๏ผŒๅœจๅ‚ๆ•ฐๆฒกๆœ‰่ขซๆฐๅฝ“ๅœฐๅˆๅง‹ๅŒ–็š„ๆƒ…ๅ†ตไธ‹๏ผŒไฝฟ็”จๅๅ‘ไผ ๆ’ญ็ฎ—ๆณ•่ฟ›่กŒ็ฎ€ๅ•็š„
ๆขฏๅบฆไธ‹้™ๅฎนๆ˜“้™ทๅ…ฅๅฑ€้ƒจๆžๅฐๅ€ผ๏ผŒไบบไปฌ้šพไปฅๆ‰พๅˆฐไธ€็ง่พƒๅฅฝ็š„ๆ–นๆณ•ๆฅ่ฎญ็ปƒๆทฑๅบฆ็ฝ‘็ปœใ€‚
ๅœจ็กฌไปถๆ–น้ข๏ผŒไนๅๅนดไปฃ่ฎก็ฎ—ๆœบ็š„่ฎก็ฎ—่ƒฝๅŠ›ไปไธ่ถณไปฅๆปก่ถณๆทฑๅบฆ็ฅž็ป็ฝ‘็ปœไธญๅคง่ง„ๆจก็š„
่ฟ็ฎ—ใ€‚ๆญคๅค–๏ผŒๅŒๆ—ถๆœŸ่ขซๆๅ‡บ็š„SVMๆ–นๆณ•ๅฏไปฅๅœจ่พƒๅฐ‘่ฟ็ฎ—็š„ๅ‰ๆไธ‹ๅฎž็Žฐ้ซ˜ๆ€ง่ƒฝ็š„ๅˆ†
็ฑป๏ผŒๅ› ๆญค๏ผŒๅœจไนๅๅนดไปฃไธญๆœŸ๏ผŒ็ฅž็ป็ฝ‘็ปœ่ฟ›ๅ…ฅ็ฌฌไบŒๆฌกไฝŽ่ฐทใ€‚
1.2.4 ๆทฑๅบฆๅญฆไน ๆ—ถๆœŸ
ๆทฑๅบฆ็ฅž็ป็ฝ‘็ปœ็š„ๅƒตๅฑ€ไธ€็›ดๆŒ็ปญๅˆฐ2006ๅนด๏ผŒHintonไธŽOsinderoๅœจๆทฑๅบฆ็ฝฎไฟก็ฝ‘็ปœไธญ
ไฝฟ็”จไธ€็งๆ— ็›‘็ฃ็š„้€ๅฑ‚่ดชๅฉช้ข„่ฎญ็ปƒๅ—้™็Žปๅฐ”ๅ…นๆ›ผๆœบ๏ผŒไฝฟๅพ—ๆƒๅ€ผ่ขซๅˆๅง‹ๅŒ–ๅˆฐไธ€ไธชๅˆ
้€‚็š„ไฝ็ฝฎ๏ผŒ้šๅŽๅฏนๆ•ดไธช็ฝ‘็ปœไฝฟ็”จๅ…จๅฑ€็š„ๅๅ‘ไผ ๆ’ญ่ฟ›่กŒๆœ‰็›‘็ฃ็š„ๅพฎ่ฐƒ๏ผŒๅœจMNISTๆ‰‹
ๅ†™ๆ•ฐๅญ—่ฏ†ๅˆซไปปๅŠกไธŠ่ถ…่ถŠไบ†ๅทฒๆœ‰็š„่ฎฐๅฝ•
[6]
๏ผŒ้šๅŽ๏ผŒๅœจๅ—้™็Žปๅฐ”ๅ…นๆ›ผๆœบ็š„ๅŸบ็ก€ไธŠๅˆๅ‘
ๅฑ•ๅ‡บไบ†็จ€็–็ผ–็ ไธŽ่‡ชๅŠจ็ผ–็ ๆœบ็ญ‰ๆ–นๆณ•ใ€‚ๆทฑๅบฆ็ฝฎไฟก็ฝ‘็ปœๆ˜ฏไธ€็งๆ— ็›‘็ฃๅญฆไน ๏ผŒๅฏนๅบ”็š„๏ผŒ
็”ฑLeCun็ญ‰ไบบๆๅ‡บ็š„ๆทฑๅบฆๅท็งฏ็ฝ‘็ปœๅฎž็Žฐไบ†ๅœจๆทฑๅบฆ็ป“ๆž„ไธ‹็š„ๆœ‰็›‘็ฃๅญฆไน 
[18, 19]
๏ผŒๆˆไธบ
็ฌฌไธ€ไธช็œŸๆญฃๆ„ไน‰ไธŠ็š„ๆทฑๅบฆ็ป“ๆž„ใ€‚
่‡ช2006ๅนด ไปฅ ๆฅ๏ผŒ ๆทฑ ๅบฆ ๅญฆ ไน  ็š„ ็ ” ็ฉถ ๆŒ ็ปญ ๅ‡ ๆธฉ
[20, 21]
๏ผŒ Googleใ€ Facebookใ€
Microsoft็ญ‰ๅ…ฌๅธไปฅๅŠ้บป็œ ็† ๅทฅใ€ๆ–ฏๅฆ ็ฆ ๅคงๅญฆใ€ๅคšไผฆๅคš ๅคง ๅญฆ็ญ‰้ซ˜ๆ ก ๆŠ• ๅ…ฅๅคง้‡ ่ต„
- 5 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ๆบๅˆฐๆทฑๅบฆๅญฆไน ็š„็›ธๅ…ณ็ ”็ฉถไธญ๏ผŒ้บป็œ็†ๅทฅๅคงๅญฆๅœจ2013ๅนดๅฐ†ๆทฑๅบฆๅญฆไน ่ฏ„ไธบๅๅคง็ช็ ดๆŠ€
ๆœฏ็š„ๆฆœ้ฆ–
[22]
ใ€‚็”ฑไบŽๆทฑๅบฆๅญฆไน ้œ€่ฆ่ฎญ็ปƒๆ ทๆœฌๅฎน้‡่ถณๅคŸๅคง๏ผŒ่€Œ่ฟ‘ๅนดๆฅๅคงๆ•ฐๆฎๆ—ถไปฃ็š„ๅˆฐ
ๆฅ๏ผŒไบบไปฌ้šพไปฅๅค„็†่ง„ๆจกๅฆ‚ๆญคๅบžๅคง็š„ๆ•ฐๆฎ๏ผŒๆ‰€ไปฅๆŸ็ง็จ‹ๅบฆไธŠ๏ผŒๆทฑๅบฆๅญฆไน ไธŽๅคงๆ•ฐๆฎๆ˜ฏ
็›ธ่พ…็›ธๆˆ็š„ใ€‚
2012ๅนด ๅ‰ ๅŽ๏ผŒๅ›ฝ ๅ†… ๅ„ ๅคง ๅ…ฌ ๅธ ้€ ๆธ ๆŠ• ๅ…ฅ ๅˆฐ ๆทฑ ๅบฆ ๅญฆ ไน  ็›ธ ๅ…ณ ็š„ ็ ” ็ฉถ ไธญ๏ผŒ็™พ ๅบฆ
ไบŽ2013ๅนดๅผ€ๅฑ•็™พๅบฆๅคง่„‘่ฎกๅˆ’๏ผŒๆˆ็ซ‹โ€œๆทฑๅบฆๅญฆไน ็ ”็ฉถ้™ขโ€๏ผŒ่ฟ™ๆ˜ฏ็™พๅบฆ้ฆ–ๆฌกๆˆ็ซ‹็ ”
็ฉถ้™ข๏ผŒๅนถไบŽ2014ๅนด้‚€่ฏทไบ†ๆทฑๅบฆๅญฆไน ็š„้ข†ๅ†›ไบบ็‰ฉๅดๆฉ่พพไฝœไธบ้ฆ–ไฝ้™ข้•ฟใ€‚่…พ่ฎฏๅ…ฌๅธ
ไบŽ2014ๅนดๅผ€ๅ‘็š„Marianaๅนณๅฐๅฐ†่‡ดๅŠ›ไบŽ็ ”็ฉถๆทฑๅบฆๅญฆไน ๅœจ่ฏญ้Ÿณ่ฏ†ๅˆซใ€ๅ›พๅƒ่ฏ†ๅˆซๅ’Œๅนฟๅ‘Š
ๆŽจ่ไธŠ็š„ๅบ”็”จใ€‚2015ๅนดไบฌไธœๅฐ†ๅผ€ๅฑ•โ€œJIMIโ€ๆœบๅ™จไบบ้กน็›ฎ๏ผŒไผๅ›พๅฐ†ๆทฑๅบฆๅญฆไน ๅบ”็”จๅˆฐ
ไบบๅทฅๅฎขๆœไธŠใ€‚
1.3 ๆทฑๅบฆๅญฆไน ๅœจไบบๅทฅๆ™บ่ƒฝไธŠ็š„ๅบ”็”จ
ๆทฑๅบฆๅญฆไน ๅœจไบบๅทฅๆ™บ่ƒฝ้ข†ๅŸŸๆญฃๅœจๅ–ๅพ—้‡ๅคง่ฟ›ๅฑ•๏ผŒๅˆฉ็”จ่ฟ™ๅฅ—ๆŠ€ๆœฏ่งฃๅ†ณไบ†ๅŽ†ๅฒ้—็•™
็š„ๅคง้‡้—ฎ้ข˜๏ผŒ็›ฎๅ‰ๅทฒ่ขซๅบ”็”จๅˆฐ็ง‘ๅญฆใ€ๅ•†ไธšใ€ๆ”ฟ็ญ–ไธŠใ€‚้™คไบ†ๅœจไผ ็ปŸ็š„ๅฃฐใ€ๅ›พใ€ๆ–‡้ข†
ๅŸŸๆทฑๅบฆๅญฆไน ๆŽ€่ตทๅทจๆตชๅค–๏ผŒๆทฑๅบฆๅญฆไน ้€ๆญฅๅผ€ๅง‹ๆธ—ๅ…ฅๅˆฐ็”Ÿ็‰ฉๅญฆ็ญ‰ๅ…ถไป–้ข†ๅŸŸใ€‚
1.3.1 ่ฏญ้Ÿณ่ฏ†ๅˆซ
ไผ ็ปŸ็š„่ฏญ้Ÿณ่ฏ†ๅˆซไธ€่ˆฌไฝฟ็”จๆททๅˆ้ซ˜ๆ–ฏๆจกๅž‹๏ผˆGMM๏ผ‰ๆˆ–้š้ฉฌๅฐ”ๅฏๅคซๆจกๅž‹๏ผˆHMM๏ผ‰
[3]
๏ผŒ่ฟ™ ไบ› ๆจก ๅž‹ ไธ€ ่ˆฌ ้ƒฝ ๆฏ” ่พƒ ็ฎ€ ๅ•๏ผŒ้šพ ไปฅ ๅฎž ็Žฐ ่พƒ ้ซ˜ ็š„ ๆญฃ ็กฎ ็Ž‡ใ€‚ MicrosoftไบŽ2009ๅนด
ไธŽHintonๅœจ่ฏญ้Ÿณ่ฏ†ๅˆซๆ–น้ขๅฑ•ๅผ€ๅˆไฝœ๏ผŒๅนถไบŽ2011ๅนดๅฎž็Žฐไบ†ๆทฑๅบฆๅญฆไน ๅœจ่ฏญ้Ÿณ่ฏ†ๅˆซไธŠ
็š„ๅบ”็”จ๏ผŒ่ฏฅๅบ”็”จๅทฒ็ปๆŠ•ๅ…ฅๅˆฐWindowsPhone็š„่ฏญ้Ÿณ่ฏ†ๅˆซโ€œๅฐๅจœโ€ไธญใ€‚Googleใ€็™พๅบฆ
ไนŸๅผ€ๅฑ•่ฏญ้Ÿณ่ฏ†ๅˆซๆก†ๆžถ็š„ๆ”น้ฉ๏ผŒGoogleไฝฟ็”จ4โˆผ5ๅฑ‚็š„็ฅž็ป็ฝ‘็ปœ๏ผŒ่€Œ็™พๅบฆไฝฟ็”จ9ๅฑ‚็š„็ฅž
็ป็ฝ‘็ปœ
[22]
ใ€‚ไฝฟ็”จๆทฑๅบฆ็ฅž็ป็ฝ‘็ปœๅฎž็Žฐ็š„่ฏญ้Ÿณ่ฏ†ๅˆซๅœจ้”™่ฏฏ็Ž‡ไธŠ่ฆๆฏ”ไผ ็ปŸๆ–นๆณ•็š„้”™่ฏฏ็Ž‡
็›ธๅฏนๅฐ‘20% โˆผ 30%ๅทฆๅณใ€‚
1.3.2 ๅ›พๅƒ่ฏ†ๅˆซ
ๅœจๅฃฐใ€ๅ›พใ€ๆ–‡ไธ‰ไธช้ข†ๅŸŸไธญ๏ผŒๆทฑๅบฆๅญฆไน ๅœจๅ›พๅƒ่ฏ†ๅˆซไธŠๅฏน่ฏ†ๅˆซๆ•ˆๆžœ็š„ๆๅ‡ๆœ€ๆ˜พ
่‘—ใ€‚ๅœจMNISTๆ‰‹ๅ†™ๆ•ฐๅญ—่ฏ†ๅˆซไปปๅŠกไธญ๏ผŒไฝฟ็”จไผ ็ปŸ่ฏ†ๅˆซๆ–นๆณ•็š„ๆญฃ็กฎ็Ž‡ไธ€่ˆฌไธบ98%ๅทฆ
ๅณ๏ผŒไฝฟ็”จSVM่ƒฝ่พพๅˆฐ98.6%็š„ๆญฃ็กฎ็Ž‡๏ผŒ่€Œไฝฟ็”จๆทฑๅบฆๅญฆไน ๆ–นๆณ•ๅœจๆœ€ๅฅฝ็š„ๆƒ…ๅ†ตไธ‹่ƒฝ่พพ
ๅˆฐ99.79%็š„ๆญฃ็กฎ็Ž‡ใ€‚ๅœจImageNet1000ไปปๅŠกไธญ๏ผŒๅฏนไบŽ1000ไธช็ฑปๅˆซ็š„่ฏ†ๅˆซ๏ผŒ้š็€ๆทฑๅบฆ
ๅญฆไน ็š„็ ”็ฉถ่ฟ›ๅฑ•๏ผŒๅ…ถ่ฏ†ๅˆซๆ•ˆๆžœๅˆ†ๅˆซ็ปๅŽ†ไบ†72%ใ€85%ใ€89%ใ€93%็ญ‰้˜ถๆฎต๏ผŒๆˆชๆญข
- 6 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ๅˆฐ2015ๅนด1ๆœˆ๏ผŒ็”ฑๅพฎ่ฝฏไบšๅคช็ ”็ฉถ้™ขๅฎž็Žฐ็š„ๆœ€ๅฅฝๆ•ˆๆžœไธบ96.06%
[23]
ใ€‚ๅœจSVHN่ก—ๆ™ฏ้—จ็‰Œ
ๅท็š„่ฏ†ๅˆซไปปๅŠกไธญ๏ผŒGoogle้€š่ฟ‡11ๅฑ‚็š„็ฅž็ป็ฝ‘็ปœๅฏน้—จ็‰Œๅทๅฎž็Žฐไบ†97.84%็š„ๆญฃ็กฎ็Ž‡๏ผŒ
่ฟ™ไธช็ณป็ปŸๅทฒ็ปๅธฎๅŠฉGoogleไปŽ่ก—ๆ™ฏไธญๅˆ†ๆžๅ‡บๅ…จ็ƒ่ฟ‘1 ไบฟไธช้—จ็‰Œๅทใ€‚
1.3.3 ่‡ช็„ถ่ฏญ่จ€ๅค„็†
MicrosoftไบŽ2012ๅนดๅœจๅคฉๆดฅๅฑ•็คบไบ†ไฝฟ็”จๆทฑๅบฆๅญฆไน ่ฎญ็ปƒ็š„ๅŒๅฃฐ็ฟป่ฏ‘็ณป็ปŸ๏ผŒๅ…ถ่‹ฑไธญ
็ฟป่ฏ‘่พƒไผ ็ปŸๆ–นๆณ•ๆ›ดไธบๆต็•…ใ€‚็„ถ่€Œ๏ผŒ็›ฎๅ‰ๅœจ่‡ช็„ถ่ฏญ่จ€ๅค„็†้ข†ๅŸŸ๏ผŒๆทฑๅบฆๅญฆไน ๅ–ๅพ—็š„ๆ•ˆ
ๆžœๅนถๆฒกๆœ‰ๆ˜พ่‘—่ถ…่ถŠไผ ็ปŸๆ–นๆณ•ใ€‚็›ธๆฏ”ไบŽๅ›พๅƒ่ฏ†ๅˆซไปฅๅŠ่ฏญ้Ÿณ่ฏ†ๅˆซ๏ผŒ่‡ช็„ถ่ฏญ่จ€ๅค„็†ไธ€ไธช
้šพ็‚นๅœจไบŽไธŠไธ‹ๆ–‡๏ผŒๅฐฝ็ฎกๆทฑๅบฆๅญฆไน ่ขซ่ฎคไธบๆ˜ฏไธ€็ง็‰นๅพๅญฆไน ๏ผŒไฝ†่ฟ™็ง็‰นๅพๅญฆไน ไผผไนŽๅนถ
ๆฒกๆœ‰ๅฎž็Žฐๅฏไปฅ่”็ณปไธŠไธ‹ๆ–‡็š„ๅŠŸ่ƒฝใ€‚่‡ช็„ถ่ฏญ่จ€ๅค„็†ๅœจ่ฟ‘ๆœŸๅนฟๅ—ๅ…ณๆณจ๏ผŒๆทฑๅบฆๅญฆไน ็ ”็ฉถ
ไบบๅ‘˜่ฎคไธบไธ‹ไธ€ไธช็ช็ ดๅฃๅฐ†ไผšๅ‡บ็Žฐๅœจ่‡ช็„ถ่ฏญ่จ€ๅค„็†ไธŠใ€‚
- 7 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
็ฌฌ 2 ็ซ  ๆŽงๅˆถ่ฎบไธŽๆœบๅ™จๅญฆไน 
ๆŽงๅˆถ่ฎบๅ…ถๆœฌ่ดจ๏ผŒๅœจไบŽๅˆฉ็”จๅทฒๆœ‰็š„ไฟกๆฏๆŠ‘ๅˆถ็ณป็ปŸ็†ต็š„ๅขžๅŠ 
[24]
๏ผŒ้œ€่ฆๆณจๆ„็š„ๆ˜ฏ๏ผŒ
่ฟ™้‡Œ็š„็†ตๅนถไธๆ˜ฏๆŒ‡็ƒญๅŠ›ๅญฆไธญ็š„็ƒญๅŠ›็†ตๆˆ–ไฟกๆฏ่ฎบไธญ็š„ไฟกๆฏ็†ต๏ผŒ่€Œๅบ”็†่งฃไธบ็†ต็š„ๅŽŸๅง‹
ๅฎšไน‰๏ผŒๅณๅฏนๆททไนฑ็š„ๅบฆ้‡ใ€‚ๆ—ข็„ถๆ˜ฏๅบฆ้‡๏ผŒไพฟ้œ€่ฆไธ€ไธชๅ‡†ๅˆ™๏ผŒๆญฃๅฆ‚ๆต‹้‡ไธ€ไธช็‰ฉไฝ“็š„้•ฟ
ๅบฆ้œ€่ฆไธ€ๆŠŠๅˆปๅบฆๅฐบ๏ผŒไฝ†ไธๅŒ็š„ๅˆปๅบฆๅฐบๅฐ†ๅพ—ๅˆฐไธๅŒ็š„ๆต‹้‡็ป“ๆžœ๏ผŒๅŒ็†๏ผŒๅฏนๆททไนฑ็š„ไธ
ๅŒๅฎšไน‰๏ผŒไนŸๅฐ†ๅพ—ๅˆฐไธๅŒ็š„ๆŽงๅˆถๆ•ˆๆžœใ€‚ไพ‹ๅฆ‚๏ผŒๅœจๆธฉๅบฆๆŽงๅˆถ็ณป็ปŸไธญ๏ผŒ่ฎฉๆธฉๅบฆไฟๆŒๅœจไธ€
ไธช่พƒ้ซ˜็š„ๆธฉๅบฆๆˆ–่พƒไฝŽ็š„ๆธฉๅบฆๅ‡ๆ˜ฏๆŠ‘ๅˆถ็†ตๅขž็š„่กŒไธบ๏ผŒๅ› ไธบไธค่€…ๅฏน็†ต็š„ๅฎšไน‰ไธๅŒใ€‚ๅฏน
ไบŽๅญค็ซ‹็ณป็ปŸ๏ผŒ็†ตๆ€ปๆ˜ฏๆœ็€ๅขžๅŠ ็š„ๆ–นๅ‘็งปๅŠจ๏ผŒไฝ†ไนŸๆœ‰ไพ‹ๅค–๏ผŒๆญคๆ—ถ็ณป็ปŸๅฟ…้กปๆ˜ฏ้žๅญค็ซ‹
็š„๏ผŒ่ƒฝๅคŸๆ”ถๅˆฐๅค–็•Œ็š„ๆŽงๅˆถ๏ผŒๆฏ”ๅฆ‚ๆœ‰ๆœบไฝ“ๅ…ทๆœ‰็†ตๅ‡่ถ‹ๅŠฟ๏ผŒๅ› ไธบDNAๆ˜ฏๆœ‰ๅบ็š„๏ผˆๅฐฝ็ฎก
ๆˆ‘ไปฌ็›ฎๅ‰ไปๆ— ๆณ•ๅฎŒๅ…จ็†่งฃๅฎƒ๏ผ‰๏ผŒๅ…ถไธญ่ตทๅˆฐๆŽงๅˆถไฝœ็”จ็š„ๅค–ๅŠ›ๆ˜ฏ่‡ช็„ถ้€‰ๆ‹ฉใ€‚ๆŽงๅˆถ่ฎบๆ‰€่ฆ
ๅš็š„๏ผŒไพฟๆ˜ฏๅผ•ๅ…ฅๅค–ๅŠ›ไฝœ็”จ๏ผŒๅณๅ้ฆˆ๏ผŒๆˆ–่€…่ฏดๆŽงๅˆถ็Žฏ่Š‚๏ผŒไปฅไน‹้™ไฝŽ็ณป็ปŸ็š„ๆททไนฑ็จ‹ๅบฆ๏ผŒ
ๅพ—ๅˆฐๆˆ‘ไปฌ็š„ๆœŸๆœ›่พ“ๅ‡บใ€‚
2.1 ็™ฝ็›’ๆจกๅž‹ไธŽ็ปๅ…ธๆŽงๅˆถ่ฎบ
็ปๅ…ธๆŽงๅˆถ่ฎบไธญ๏ผŒไธบไบ†ๅฎž็Žฐๅฏนไธ€ไธช็ณป็ปŸ็š„ๆŽงๅˆถ๏ผŒๆˆ‘ไปฌๅพ€ๅพ€้œ€่ฆๅ…ˆ็”ฑ็ณป็ปŸ็š„็ป“ๆž„
ๅผ€ๅง‹ๅˆ†ๆž๏ผŒๅˆฉ็”จ็‰›้กฟๅŠ›ๅญฆใ€็”ต็ฃๅŽŸ็†ใ€็ƒญๅŠ›ๅญฆ็ญ‰็‰ฉ็†ๅŽŸ็†ๅฏน็ณป็ปŸ็‰นๆ€งๅปบ็ซ‹ๅพฎๅˆ†ๆ–น
็จ‹๏ผŒๅฐ†ๅ…ถ่ฝฌๆขไธบๅคๅŸŸ็š„ไผ ้€’ๅ‡ฝๆ•ฐๅŽ๏ผŒๅ†ๅˆฉ็”จๆ น่ฝจ่ฟนๆˆ–้ข‘ๅŸŸๅˆ†ๆž่ฎพ่ฎกๆŽงๅˆถ็Žฏ่Š‚ใ€‚ๅฆ‚
ๅ›พ2.1 ๆ‰€็คบ็š„็ฎ€ๅ•RLC็ฝ‘็ปœไธญ๏ผŒๅ‡ๅฎšๆˆ‘ไปฌไปฅu
i
(t)ไฝœไธบ่พ“ๅ…ฅ๏ผŒu
o
(t)ไฝœไธบ่พ“ๅ‡บ๏ผŒ้‚ฃไนˆๆญค
ๆ—ถๆˆ‘ไปฌๆ‰€ๆ‹ฅๆœ‰็š„ไฟกๆฏๆ˜ฏๆ•ดไธช็ณป็ปŸ็š„็ป“ๆž„๏ผŒๆ‰€้œ€่ฆๆŠ‘ๅˆถ็š„ๆททไนฑๅฐฑๆ˜ฏๆŽงๅˆถu
0
(t)ๆœ็€ๆˆ‘
ไปฌ็š„ๆœŸๆœ›่พ“ๅ‡บ่ฟˆ่ฟ›ใ€‚
ๅ›พ 2-1 ็ฎ€ๅ•็š„RCL็ฝ‘็ปœ
็”ฑไบŽ่ฟ™ไธช็ณป็ปŸ็š„็ป“ๆž„ๆ˜ฏๅทฒ็Ÿฅ็š„๏ผŒๆ•ดไธช็ณป็ปŸๅฏนไบŽๆˆ‘ไปฌ่€Œ่จ€็›ธๅฝ“ไธ€ไธช็™ฝ็›’ใ€‚ไธบๆญค๏ผŒ
ๆˆ‘ไปฌๅฏไปฅๅพˆๅฎนๆ˜“ๅœฐๆ นๆฎๅŸบๅฐ”้œๅคซๅ›ž่ทฏ็”ตๅŽ‹ๅฎšๅพ‹ๅปบ็ซ‹ๆ–น็จ‹
u
L
(t) + u
R
(t) + u
o
(t) = u
i
(t) (2-1)
- 8 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
่ฟ›ไธ€ๆญฅๅˆฉ็”จ็”ตๆ„Ÿ็‰นๆ€งใ€็”ตๅฎน็‰นๆ€งใ€ๆฌงๅง†ๅฎšๅพ‹๏ผŒๅผ(2-1)ๅฏไปฅ่ฟ›ไธ€ๆญฅๆŽจๅฏผไธบ
LC
d
2
u
o
(t)
dt
2
+ RC
du
o
(t)
dt
+ u
o
(t) = u
i
(t) (2-2)
ๆญคๆ—ถ๏ผŒ่พ“ๅ…ฅ่พ“ๅ‡บ็š„ๅพฎๅˆ†ๆ–น็จ‹ๅทฒๅปบ็ซ‹๏ผŒไธ‹ไธ€ๆญฅไพฟๆ˜ฏ็ปๅ…ธๆŽงๅˆถ่ฎบ็š„ๅ†…ๅฎน๏ผŒๆˆ‘ไปฌๅนถไธๆ‰“
็ฎ—็ปง็ปญๅฑ•ๅผ€็ป†่ฏดใ€‚ๅœจ่ฟ™ไธชไพ‹ๅญไธญ๏ผŒๆˆ‘ไปฌๅฏไปฅ็œ‹ๅ‡บ๏ผŒ็™ฝ็›’ๆจกๅž‹ๅฏนๆ•ดไธช็ณป็ปŸๆ˜ฏไบ†ๅฆ‚ๆŒ‡
ๆŽŒ็š„๏ผŒๆ˜ฏๅฏไปฅๅฏนๅ…ถๅปบๆจก็š„ใ€‚ๆญคๆ—ถ๏ผŒโ€œๅˆฉ็”จๅทฒๆœ‰ไฟกๆฏๆŠ‘ๅˆถ็ณป็ปŸ็š„็†ตๅขžโ€็›ธๅฝ“ไบŽ๏ผŒๅฏน็ณป
็ปŸๅปบ็ซ‹ไผ ้€’ๅ‡ฝๆ•ฐ๏ผˆๅˆฉ็”จๅทฒๆœ‰ไฟกๆฏ๏ผ‰๏ผŒ่ฎพ่ฎกๆŽงๅˆถ็Žฏ่Š‚ไฝฟๆˆ‘ไปฌ่ƒฝๅพ—ๅˆฐๆœŸๆœ›่พ“ๅ‡บ๏ผˆๆŠ‘ๅˆถ็†ต
ๅขž๏ผ‰ใ€‚
2.2 ็ฐ็›’ๆจกๅž‹ไธŽ็ณป็ปŸ่พจ่ฏ†
็‰›้กฟไธ€็”Ÿ็š„ๅทฅไฝœๅฏน่‡ช็„ถ็ง‘ๅญฆ็š„่ดก็Œฎๆ˜ฏๆ— ไปฅ่กก้‡็š„๏ผŒไฝ†็‰›้กฟ็”Ÿๆดป็š„ๆ—ถไปฃๅฟฝ่ง†ไบ†
ไธ€ไบ›้‡่ฆ็š„ไธœ่ฅฟโ€”็ปŸ่ฎก็š„ๆฆ‚ๅฟตใ€‚ๅœจ็‰›้กฟๅŠ›ๅญฆไธญ๏ผŒๆœ‰ไธ€ไธชๅ‰ๆ๏ผŒ็ณป็ปŸ็š„็Šถๆ€ๆ˜ฏๅฏๆต‹
้‡็š„๏ผŒๅ› ๆญค๏ผŒ็‰›้กฟๅŠ›ๅญฆๅŸบไบŽไธ€ไธชๅทฒ็ป™ๅฎš็š„็ฒพ็กฎๅˆๅง‹็Šถๆ€ไน‹ไธŠๅฏน็ณป็ปŸๅˆ†ๆžใ€‚็„ถ่€Œ๏ผŒ
็‰ฉ็†็š„ๆต‹้‡ไปŽๆฅ้ƒฝไธๆ˜ฏ็ฒพ็กฎ็š„๏ผŒๆˆ‘ไปฌๅฏนไธ–็•Œ็š„่ง‚ๅฏŸไนŸๆ€ปๆ˜ฏ็‰‡้ข่€Œไธ็กฎๅฎš็š„๏ผŒไธ–็•Œ
ๅฏนๆˆ‘ไปฌ่€Œ่จ€ๆ˜ฏๆœช็Ÿฅ็š„๏ผŒๆˆ‘ไปฌๆ— ๆณ•ๅฎŒๅ…จ็กฎๅฎšไบ‹็‰ฉ็š„่ฟไฝœๆœบ็†ใ€‚ไพ‹ๅฆ‚ๅ›พ2.1 ไธญ็š„็”ต้˜ปR๏ผŒ
R=50โ„ฆ ๅนถไธๆ˜ฏไธ€ไธชไธฅ่ฐจ็š„่ฏดๆณ•๏ผŒๆˆ‘ไปฌไธ็Ÿฅ้“็‰ฉไฝ“็ป†ๅˆ†ๅˆฐๆœ€ๅฐ็ฒ’ๅญ๏ผˆๅฆ‚ๆžœๅญ˜ๅœจ็š„
่ฏ๏ผ‰ๅŽไบ‹็‰ฉๆ˜ฏๅฆๅ˜ๅพ—็ฒพ็กฎ๏ผŒไฝ†ๅฐฑ็›ฎๅ‰ไบบ็ฑปๆ‰€ๆ‹ฅๆœ‰็š„็Ÿฅ่ฏ†่€Œ่จ€๏ผŒ้˜ปๅ€ผไธบ50โ„ฆ็š„็”ต้˜ป
ๆ˜ฏไธๅญ˜ๅœจ็š„ใ€‚ๆˆ‘ไปฌๅนณๅธธๆ‰€่ฏด็š„50โ„ฆ็”ต้˜ปๅชๆ˜ฏไธ€ไธช็ปŸ่ฎกๆฆ‚ๅฟต๏ผŒๅณ็”ต้˜ปๅœจ50 โ„ฆๅทฆๅณ็š„
็ปŸ่ฎก็ป“ๆžœใ€‚ๅปถไผธๅˆฐๆ•ดไธช็ณป็ปŸ๏ผŒๅ›พ2.1 ็š„็ฝ‘็ปœไนŸๅ˜ๅพ—ไธ็กฎๅฎš๏ผŒRใ€Lใ€Cๅ‡ๆ˜ฏไธ็ฒพ็กฎ็š„
ๅ€ผ๏ผŒๆญคๆ—ถ็ณป็ปŸๅ˜ไธบไธ€ไธช็ฐ็›’ๆจกๅž‹ใ€‚ๆ‰€่ฐ“็ฐ็›’ๆจกๅž‹๏ผŒๅณ็ณป็ปŸ็š„ไธ€้ƒจๅˆ†ๅ†…ๅฎนๆ˜ฏๆœช็Ÿฅ็š„๏ผŒ
ๅฆไธ€้ƒจๅˆ†ๅ†…ๅฎนๆ˜ฏๅทฒ็Ÿฅ็š„็š„๏ผŒไพ‹ๅฆ‚่ฟ™้‡Œ๏ผŒๅฐฝ็ฎกRใ€Lใ€C็š„็ฒพ็กฎๅ€ผๆ˜ฏๆœช็Ÿฅ็š„๏ผŒไฝ†ๆˆ‘ไปฌ
ไพ็„ถๅฏไปฅ็Ÿฅ้“ๅ…ถๆ•ฐๅ€ผ็š„ๅคง่‡ด่Œƒๅ›ดใ€‚
ๅ€˜่‹ฅๆˆ‘ไปฌๅ†ๆŽจๅนฟไธ€ๆญฅ๏ผŒRใ€Lใ€C็š„ๅคง่‡ด่Œƒๅ›ดๆˆ‘ไปฌไนŸไธ็Ÿฅ้“๏ผŒๅฆ‚ไฝ•่ฎพ่ฎก่ฏฅ็ณป็ปŸ
็š„ๆŽงๅˆถ็Žฏ่Š‚ไพฟๆ˜ฏ็ณป็ปŸ่พจ่ฏ†ๆ‰€่ฆ็ ”็ฉถ็š„ๅ†…ๅฎนใ€‚็ณป็ปŸ่พจ่ฏ†้ข†ๅŸŸไธญ็š„ไธ€ไธช้‡่ฆ็š„่ฏ้ข˜ๆ˜ฏ
ๅฆ‚ไฝ•่งฃๆžๅ‡บไธ€ไธชๅซๆœ‰ๆœช็Ÿฅๅ‚ๆ•ฐ็š„็ณป็ปŸ็ป“ๆž„๏ผŒๅฆ‚ๆžœๆˆ‘ไปฌๅฏไปฅ่Žทๅ–็ณป็ปŸ็š„่พ“ๅ…ฅ่พ“ๅ‡บๆ ท
ๆœฌ๏ผŒๅˆฉ็”จ่ฟ™ไบ›ๆ ทๆœฌ๏ผŒ้…ๅˆไธŠๅซๆœ‰ๆœช็Ÿฅๅ‚ๆ•ฐ็š„็ณป็ปŸ็ป“ๆž„ๆ–น็จ‹๏ผŒ้‡‡ๅ–ๆฐๅฝ“็š„ๆ‹Ÿๅˆๆ–นๆณ•๏ผŒ
ๅฆ‚ๆœ€ๅฐไบŒไน˜ไปฅๅŠๆžๅคงไผผ็„ถ็ญ‰๏ผŒๆœ€ๅŽๅฏไปฅ่Žทๅ–ๆœช็Ÿฅๅ‚ๆ•ฐ็š„่ฟ‘ไผผ่งฃ๏ผŒไฝฟๅพ—่ฟ™ไธช็ฐ็›’ๆจก
ๅž‹็š„็ฐ่‰ฒ่คชๅŽป๏ผˆไฝ†ไธไผš่คชไธบ็™ฝ็›’ๆจกๅž‹๏ผ‰๏ผŒ่ฟ›ไธ€ๆญฅไพฟๅฏ่ฎพ่ฎก็ณป็ปŸ็š„ๆŽงๅˆถ็Žฏ่Š‚ใ€‚
2.3 ้ป‘็›’ๆจกๅž‹ไธŽ็ปŸ่ฎกๆœบๅ™จๅญฆไน 
็™ฝ็›’ๆจกๅž‹ไธŽ็ฐ็›’ๆจกๅž‹็š„่ฎจ่ฎบๅ‡ๆ˜ฏๅŸบไบŽไธ€ไธชๅ‰ๆ๏ผšๆˆ‘ไปฌ็Ÿฅ้“็ณป็ปŸๆ•ดไฝ“ๆจกๅž‹ๆก†ๆžถ๏ผŒ
ๅชๆ˜ฏๆŸไบ›ๅ‚ๆ•ฐๆœ‰ๅฏ่ƒฝๆ˜ฏๆœช็Ÿฅ็š„ใ€‚ไฝ†่ฟ™ไธชๅ‰ๆๅœจๅฎž้™…็”Ÿๆดปไธญๅพ€ๅพ€ๆ˜ฏไธๆˆ็ซ‹็š„๏ผŒๅพˆๅคš
- 9 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ๆ—ถๅ€™๏ผŒๆˆ‘ไปฌ้žไฝ†ไธ็Ÿฅ้“็ณป็ปŸ็š„ๅ‚ๆ•ฐ๏ผŒ็”š่‡ณ่ฟž็ณป็ปŸ็š„ๆจกๅž‹ไนŸ็Ÿฅไน‹็”šๅฐ‘๏ผŒๆญคๆ—ถ็š„็ณป็ปŸ
็›ธๅฝ“ไบŽไธ€ไธช้ป‘็›’๏ผŒๆˆ‘ไปฌๆ— ๆณ•ไบ†่งฃๅ…ถๅ†…้ƒจ็ป“ๆž„ใ€‚ไพ‹ๅฆ‚๏ผŒๅˆคๆ–ญไธ€ๅฐ100ๅญ—็š„้‚ฎไปถๆ˜ฏๅฆ
ไธบๅžƒๅœพ้‚ฎไปถ๏ผŒๅ‡่ฎพ่ฟ™ไธช่กŒไธบๅฏไปฅ็”จไธ€ไธชๅ‡ฝๆ•ฐๆฅๆ่ฟฐ๏ผŒๅณ่ฟ™ไธชๅ†ณ็ญ–่ƒŒๅŽๅญ˜ๅœจไธ€ไธช็œŸ
็†๏ผˆๆˆ–่€…่ฏดๅ‡ฝๆ•ฐ๏ผ‰๏ผŒ้€š่ฟ‡ๅฎƒ๏ผŒๆˆ‘ไปฌ่พ“ๅ…ฅ100 ไธชๅญ—็ฌฆ๏ผŒๅ‡ฝๆ•ฐ็š„่พ“ๅ‡บๅ‘Š่ฏ‰ๆˆ‘ไปฌ่ฟ™ๅฐ้‚ฎไปถ
ๆ˜ฏๅฆไธบๅžƒๅœพ้‚ฎไปถ๏ผŒ้‚ฃไนˆๆˆ‘ไปฌไพฟๅฏไปฅ้€š่ฟ‡่ฟ™ไธชๅ‡ฝๆ•ฐๆฅๆ่ฟฐ่ฟ™ไธช็ณป็ปŸใ€‚ๅฏไปฅ่‚ฏๅฎš็š„ๅ€ผ๏ผŒ
่ฟ™ไธชๅ‡ฝๆ•ฐๅœจ้‚ฎไปถๅฎŒๅ…จๅฏๅˆ†๏ผˆๅณไธๅญ˜ๅœจไธ€ไบ›ๅฏ่ƒฝๆ˜ฏๆˆ–ๅฏ่ƒฝไธๆ˜ฏๅžƒๅœพ้‚ฎไปถ็š„ๆƒ…ๅ†ต๏ผ‰็š„
ๅ‰ๆไธ‹ๆ˜ฏๅญ˜ๅœจ็š„๏ผŒๅ› ไธบๅญ—็ฌฆ็ผ–็ ๆ˜ฏๆœ‰้™็š„๏ผŒๅช้œ€็ฉทไธพๅณๅฏๅพ—ๅˆฐ่ฟ™ไธชๅ‡ฝๆ•ฐ็š„ๅ†ณ็ญ–
้ขใ€‚ไฝ†่ฟ™ไธชๆ–นๆณ•ๅนถไธ็Žฐๅฎž๏ผŒๅ‡ไฝฟๆ‰€ๆœ‰็š„ๆฑ‰ๅญ—ๅชๆœ‰2000ไธช๏ผŒ้‚ฃไนˆ100ๅญ—็š„ไธญๆ–‡้‚ฎไปถๅฐ†
ๆœ‰2000
100
็งๅฏ่ƒฝ๏ผŒ่ฆ็ฉทไธพๆ˜ฏไธๅฏ่ƒฝ็š„ใ€‚ๅฆไธ€็งๅšๆณ•ๆ˜ฏๅฏปๆฑ‚่ฏญๆณ•็ป“ๆž„๏ผŒๅ…ˆๅฏน่ฟ™100ๅญ—
่ฟ›่กŒๅˆ†่ฏ๏ผŒๅ†่ฟ›่กŒ่ฏญไน‰ๅˆ†ๆž๏ผŒ่ฟ™ไธช่ฟ‡็จ‹ไนŸๅฏไปฅๆ่ฟฐไธบไธ€ไธชๅ‡ฝๆ•ฐๆ˜ ๅฐ„่ฟ‡็จ‹๏ผšๅ‡่ฎพๅ‡ฝ
ๆ•ฐ f (x)ไปฃ่กจๅˆ†่ฏ๏ผŒg(x)ไปฃ่กจ่ฏญไน‰ๅˆ†ๆž๏ผŒyไปฃ่กจ็ณป็ปŸ่พ“ๅ‡บ๏ผŒ้‚ฃไนˆ็ณป็ปŸ็š„ๆจกๅž‹ๅฏไปฅ่กจ่ฟฐ
ไธบy = g[ f (x)]ใ€‚่ฟ™็งๆƒณๆณ•ๆ—ฉๅœจไบŒๅๅนดๅ‰ๅฐฑ่ขซๆŠ›ๅผƒ๏ผŒๅ› ไธบ่‡ช็„ถ่ฏญ่จ€ๅซๆœ‰ๅผบ็ƒˆ็š„ไธŠไธ‹ๆ–‡
ๆฐ”ๆฏใ€‚ไพ‹ๅฆ‚ๅœจโ€œๅ†ฌๅคฉ่ƒฝ็ฉฟๅคšๅฐ‘็ฉฟๅคšๅฐ‘๏ผŒๅคๅคฉ่ƒฝ็ฉฟๅคšๅฐ‘็ฉฟๅคšๅฐ‘โ€่ฟ™ไธชไพ‹ๅญไธญ๏ผŒๅŒไธ€
ๅฅโ€œ่ƒฝ็ฉฟๅคšๅฐ‘็ฉฟๅคšๅฐ‘โ€ๅœจไธๅŒ็š„ไธŠไธ‹ๆ–‡ไธญๅซๆœ‰ไธๅŒ็š„ๆ„ไน‰ใ€‚ๅฐฝ็ฎกๆˆ‘ไธชไบบ่ฎคไธบ่ฟ™็ง
ไธŠไธ‹ๆ–‡่ƒŒๅŽไนŸๅฟ…็„ถๅญ˜ๅœจไธ€ไธชๅ› ๆžœๅ…ณ็ณป๏ผŒไฝ†่ฟ™็งๅ› ๆžœๅ…ณ็ณปๆ˜ฏๅœจๆ˜ฏๅคช้šพๅฏปๆ‰พไบ†๏ผŒๆ‰€ไปฅ
่ฟ™็งๆ–นๆณ•ไนŸไธๆ˜ฏไธ€ไธชๅฏ่กŒ็š„ๆ–นๆกˆใ€‚
็ปŸ่ฎกๆœบๅ™จๅญฆไน ็š„ๅšๆณ•ๆ˜ฏ๏ผŒๅ‡ๅฎšไธ€ไธชๆจกๅž‹๏ผˆ่ฟ™ไธชๆจกๅž‹ไธŽ็ณป็ปŸๆœฌ่ดจ็š„ๆจกๅž‹ๅ…ณ่”ๅนถ
ไธๅคง๏ผ‰๏ผŒๅˆฉ็”จๅคง้‡ๆ ทๆœฌ่ฎญ็ปƒๅ‡่ฎพ็š„ๆจกๅž‹๏ผŒๆœ€ๅŽๅฐ†่ฎญ็ปƒๅฎŒๆฏ•็š„ๆจกๅž‹ไฝœไธบๆœฌ่ดจๆจกๅž‹็š„้€ผ
่ฟ‘ใ€‚ไธŽไน‹ๅ‰่ฎจ่ฎบ็š„็ณป็ปŸ่พจ่ฏ†็›ธๆฏ”๏ผŒไธค่€…ๅœจ่ฎญ็ปƒ้˜ถๆฎตๆ˜ฏ็ฑปไผผ็š„๏ผŒๅ‡ๆ˜ฏๅˆฉ็”จๆ ทๆœฌ่ฟ›่กŒ
ๅ‚ๆ•ฐๆ•ดๅฎš๏ผŒไธๅŒ็‚นๅœจไบŽ๏ผŒ็ณป็ปŸ่พจ่ฏ†ๆ˜ฏ่ฎญ็ปƒๅธฆๆœ‰ๅผบ็ƒˆๅ…ˆ้ชŒ็š„ๆจกๅž‹๏ผˆๆฏ”ๅฆ‚็”ฑๅ…ทไฝ“็‰ฉ็†
ๅŽŸ็†ๆŽจๅฏผๅ‡บ็š„ไผ ้€’ๅ‡ฝๆ•ฐ๏ผ‰็š„ๅ‚ๆ•ฐ๏ผŒ่€Œ็ปŸ่ฎกๅญฆไน ่ฎญ็ปƒ็š„ๆ˜ฏๅ‡่ฎพๆจกๅž‹๏ผˆๆฏ”ๅฆ‚้ซ˜ๆ–ฏๆจกๅž‹ใ€
้šๅผ้ฉฌๅฐ”ๅฏๅคซๆจกๅž‹ใ€็ฅž็ป็ฝ‘็ปœใ€ๆ”ฏๆŒๅ‘้‡ๆœบ็ญ‰๏ผ‰็š„ๅ‚ๆ•ฐใ€‚
ๅ›žๅˆฐๅžƒๅœพ้‚ฎไปถๅˆ†็ฑป็š„ไพ‹ๅญไธญ๏ผŒ็ปŸ่ฎกๆœบๅ™จๅญฆไน ็š„ไธ€็ง่งฃๅ†ณๆ–นๆกˆๆ˜ฏๅˆฉ็”จๆœด็ด ่ดๅถ
ๆ–ฏๅˆ†็ฑป๏ผŒ่ฟ™็งๆ–นๆณ•ไธญ๏ผŒๆ‰€ๅ‡่ฎพ็š„ๆจกๅž‹ๆ˜ฏๆœด็ด ่ดๅถๆ–ฏๆจกๅž‹ใ€‚ๆˆ‘ไปฌ้ฆ–ๅ…ˆๅปบ็ซ‹ไธ€ไธชๅซ
ๆœ‰dไธชๅ…ƒ็ด ็š„ๅžƒๅœพ้‚ฎไปถ็‰นๅพๅญ—ๅ…ธ๏ผŒๆฏ”ๅฆ‚{ ่ดญไนฐใ€ๅคงไฟƒ้”€ใ€ๅบ—ๅบ†ยทยทยท}๏ผŒๆญคๆ—ถ๏ผŒไปปไฝ•ไธ€
ๅฐ้‚ฎไปถ้ƒฝๅฏไปฅ็”จไธ€ไธชd็ปดๅˆ—ๅ‘้‡่กจ็คบใ€‚ไพ‹ๅฆ‚๏ผŒๆŸๅฐ้‚ฎไปถๅœจๅญ—ๅ…ธไธญ็š„ๅ…ƒ็ด ๅชๅŒ…ๅซโ€œ่ดญ
ไนฐโ€๏ผŒ่€Œๅ…ถไป–็š„ๅ…ƒ็ด ๅ‡ไธๅŒ…ๅซ๏ผŒ้‚ฃไนˆ่ฟ™ๅฐ้‚ฎไปถไพฟๅฏไปฅ่กจ็คบไธบ
x = [1, 0, 0, ยทยทยท , 0]
T
(2-3)
ๅฆ‚ๆžœๆˆ‘ไปฌๆœ‰ๅคง้‡ๅžƒๅœพ้‚ฎไปถๆ ทๆœฌ๏ผŒๆˆ‘ไปฌไธ้šพ็ปŸ่ฎกๅ‡บๅญ—ๅ…ธไธญๅ„ไธชๅ…ƒ็ด ๅœจๅžƒๅœพ้‚ฎ
ไปถไธญ็š„ๅ‡บ็Žฐๆฆ‚็Ž‡p(x
i
|y = 1)๏ผŒๅ…ถไธญ๏ผŒyไปฃ่กจๆ ทๆœฌ็š„ๆ ‡็ญพ๏ผŒ่‹ฅ่ฏฅๆ ทๆœฌๆ˜ฏๅžƒๅœพ้‚ฎไปถ๏ผŒ
ๅˆ™y = 1๏ผŒๅไน‹y = 0๏ผŒx
i
ไปฃ่กจๅญ—ๅ…ธไธญ็š„็ฌฌiไธชๅ…ƒ็ด ๏ผŒไพ‹ๅฆ‚๏ผŒๆˆ‘ไปฌ็š„ๅญ—ๅ…ธไธญ๏ผŒx
1
= โ€œ่ดญ
ไนฐโ€ใ€‚ๅปบ็ซ‹ๆ ทๆœฌ็š„ๆ่ฟฐๆ–นๅผๅŽ๏ผŒๆˆ‘ไปฌ้‡‡็”จๆœด็ด ่ดๅถๆ–ฏๅ…ฌๅผ๏ผŒ่ฎก็ฎ—ๆ ทๆœฌไธบๅžƒๅœพ้‚ฎไปถ
- 10 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ๆ—ถ็š„ๆฆ‚็Ž‡ๅˆ†ๅธƒ
p(x|y = 1) = p(x
1
, x
2
, ยท, x
d
|y = 1)
= p(x
1
|y = 1)p(x
2
|y = 1) ยทยทยท p(x
d
|y = 1)
(2-4)
ๆ˜พ็„ถ๏ผŒๅผ(2-4)ๅœจๆ•ฐๅญฆไธŠๅชๆœ‰ๅœจx
i
ๅ‡็‹ฌ็ซ‹ๆ—ถๆ‰ๆˆ็ซ‹๏ผŒ่€Œๆœฌ่ดจไธŠ๏ผŒx
i
ๅนถไธๆ˜ฏ็‹ฌ็ซ‹็š„๏ผˆๅ› 
ไธบๅญ˜ๅœจไธŠไธ‹ๆ–‡๏ผ‰๏ผŒ่ฟ™้‡Œๆœฌๅบ”ไฝฟ็”จๅ…จๆฆ‚็Ž‡ๅ…ฌๅผ๏ผŒ่€Œๆˆ‘ไปฌไน‹ๆ‰€ไปฅๅ‡่ฎพx
i
็‹ฌ็ซ‹็š„ๅŽŸๅ› ๆ˜ฏ่ฟ™
ๆ ทๅšๅฏไปฅ้™ไฝŽๆจกๅž‹็š„ๅคๆ‚ๅบฆใ€‚ๆ‰€ไปฅ่ฏด๏ผŒๅœจ็ปŸ่ฎกๅญฆไน ไธญ๏ผŒๅ‡่ฎพๆจกๅž‹ไธŽๆœฌ่ดจๆจกๅž‹็š„ๅ…ณ
่”ๅพ€ๅพ€ไธๅคงใ€‚
ๆจกๅž‹่ฎญ็ปƒๅฎŒๆฏ•ๅŽ๏ผˆๅณ่ฎก็ฎ—p(x
i
|y = 1)๏ผ‰๏ผŒๅฏนไบŽไธ€ๅฐๆ–ฐๆ”ถๅˆฐ็š„้‚ฎไปถ๏ผŒๆˆ‘ไปฌๅช้œ€ไฝฟ
็”จ่ดๅถๆ–ฏๅ…ฌๅผๅณๅฏ่ฎก็ฎ—่ฏฅ้‚ฎไปถๆ˜ฏๅžƒๅœพ้‚ฎไปถ็š„ๆฆ‚็Ž‡
p(y = 1|x) =
p(x|y = 1)p(y = 1)
p(x)
=
๎‘
d
i=1
p(x
i
|y = 1)
๎‘
d
i=1
p(x
i
|y = 1) +
๎‘
d
i=1
p(x
i
|y = 0)
(2-5)
็ปŸ่ฎกๅญฆไน ๆ›ดๅƒๆ˜ฏไธ€็งๅ‡่ฎพๆฃ€้ชŒ๏ผŒๆœฌไพ‹ๅญไธญ็š„ๆœด็ด ่ดๅถๆ–ฏ๏ผŒๅฎŒๅ…จๆŠ›ๅผƒไบ†่ฏญไน‰ๅˆ†ๆž๏ผŒ
่ฟ™ๅนถไธ็ฌฆๅˆ่‡ช็„ถ่ฏญ่จ€็š„ๅŽŸ็†ใ€‚ไฝ†ๅฎž้™…ไธญ๏ผŒๅฐฝ็ฎก่ฟ™ไธชๆจกๅž‹ๅนถไธๆ˜ฏๆœฌ่ดจๆจกๅž‹๏ผŒไฝ†้€ผ่ฟ‘
ๆ•ˆๆžœ่ถณไปฅ่ฎฉไบบๆŽฅๅ—๏ผŒ่ƒฝๅทฅไฝœๅพ—ๅพˆๅฅฝ๏ผŒๅ› ๆญค่ขซๅพˆๅคš้‚ฎไปถๅŽ‚ๅ•†ๆ‰€้‡‡็”จใ€‚
ๅ›พ 2-2 ๆœบๅ™จๅญฆไน ็ณป็ปŸๆก†ๅ›พ
ๅฆ‚ๆžœไธ€ๅฎš่ฆๅฏนๆœบๅ™จๅญฆไน ไธ‹ไธ€ไธชๅฎšไน‰๏ผŒๆˆ‘่ฎคไธบTom.Mitchell็š„ๆ่ฟฐๆฏ”่พƒๆฐๅฝ“๏ผš
ๅฏนไบŽๆŸ็ฑปไปปๅŠกTๅ’Œๆ€ง่ƒฝๅบฆ้‡P๏ผŒๅฆ‚ๆžœไธ€ไธช่ฎก็ฎ—ๆœบ็จ‹ๅบๅœจTไธŠไปฅP่กก้‡็š„ๆ€ง่ƒฝ้š็€็ป
้ชŒE่€Œ่‡ชๆˆ‘ๅฎŒๅ–„๏ผŒ้‚ฃไนˆๆˆ‘ไปฌ็งฐ่ฟ™ไธช่ฎก็ฎ—ๆœบ็จ‹ๅบไปŽ็ป้ชŒEไธญๅญฆไน 
[25]
ใ€‚ๅฆ‚ๆžœๅฐ†่ฟ™ๆฎต่ฏ่ฝฌ
ๅŒ–ๆˆ็ณป็ปŸๆก†ๅ›พ๏ผŒๅˆ™ๅฆ‚ๅ›พ2-2 ๆ‰€็คบใ€‚
2.4 ๆœฌ็ซ ๅฐ็ป“
็ฒพ็กฎๆ€งๅชๅญ˜ๅœจไบŽๆ•ฐๅญฆไธญ๏ผŒ็Žฐๅฎžไธ–็•Œๅ……ๆปกไบ†ไธ็กฎๅฎšๆ€ง๏ผŒ้šพไปฅๅฏปๆ‰พไบ‹็‰ฉ่ƒŒๅŽ็š„ๆœบ
็†ใ€‚็ปŸ่ฎกๅญฆไน ็ป•่ฟ‡่ฟ™ๅฅ—ๆœบ็†๏ผŒๆ นๆฎ่ฎพ่ฎก่€…็š„ๆ„ๆ„ฟ๏ผŒๅ‡่ฎพไธ€ไธชๆจกๅž‹๏ผŒๅˆฉ็”จ่ฟ™ไธชๆจกๅž‹
้€ผ่ฟ‘ไบ‹็‰ฉ็š„ๆœบ็†๏ผŒ็›ธๅฝ“ไบŽๆŠŠไธ–็•Œ็œ‹ๆˆไธ€ไธช้ป‘็›’๏ผŒๅนถไธๆ‰“็ฎ—ๅŽปๆŽข็ดข้ป‘็›’็š„ๅ†…้ƒจ็ป“ๆž„๏ผŒ
่€Œๆ˜ฏไปฟ้€ ไธ€ไธช้ป‘็›’ๆฅๆจกๆ‹Ÿๅ…ถๅทฅไฝœๅŽŸ็†ใ€‚
- 11 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
็ฌฌ 3 ็ซ  ๅ—้™็Žปๅฐ”ๅ…นๆ›ผๆœบ
็ปŸ่ฎกๅญฆไน ๅนถไธๅœจไนŽไบ‹็‰ฉ็š„ๆœฌ่ดจๆ˜ฏไป€ไนˆ๏ผŒๆˆ‘ไปฌๆ›ดๅ…ณๅฟƒ็š„ๆ˜ฏๆ•ฐๆฎ็š„ๅˆ†ๅธƒๆ˜ฏๆ€Žๆ ท็š„๏ผŒ
ไธบไบ†ๆ่ฟฐๆ•ฐๆฎ็š„ๅˆ†ๅธƒ๏ผŒๆˆ‘ไปฌๅพ€ๅพ€ๅผ•ๅ…ฅๅ„็งๅ„ๆ ท็š„ๆจกๅž‹ๅˆป็”ป่ฟ™็งๅˆ†ๅธƒ๏ผŒๆฏ”ๅฆ‚๏ผŒ่ดๅถ
ๆ–ฏๅ†ณ็ญ–่ฎบไธญๆˆ‘ไปฌๅผ•ๅ…ฅๅคš็ปด้ซ˜ๆ–ฏๅˆ†ๅธƒ๏ผŒๆ”ฏๆŒๅ‘้‡ๆœบไธญๆˆ‘ไปฌๅผ•ๅ…ฅๆœ€ๅคง้—ด้š”ๅˆ†็ฆป้ข็ญ‰ใ€‚
ๅฏนไบŽๅŒไธ€ไธชไปปๅŠก๏ผŒ้‡‡็”จไธๅŒ็š„ๆจกๅž‹ๅพ—ๅˆฐ็š„็ป“ๆžœๆ˜ฏไธไธ€ๆ ท็š„๏ผŒๆœบๅ™จๅญฆไน ไธŽๆจกๅผ่ฏ†ๅˆซ
็š„ไธ€ไธชไธๅŒ็‚นๅœจไบŽ๏ผŒๆœบๅ™จๅญฆไน ๆ›ดๆณจ้‡็ปŸ่ฎก๏ผŒๆจกๅผ่ฏ†ๅˆซๆ›ดๆณจ้‡ไบŽๆจกๅž‹ใ€‚ไพ‹ๅฆ‚๏ผŒๅฏนไบŽ
ๅŒไธ€ไธชไปปๅŠก๏ผŒๆœบๅ™จๅญฆไน ๅญฆ่€…ๅฏ่ƒฝไผšๅ‡่ฎพๅ‡บๅคšไธชๆจกๅž‹๏ผŒๅ†ๆ นๆฎๆจกๅž‹้€‰ๆ‹ฉ็†่ฎบ้€‰ๅ–ไธ€
ไธชๆœ€ไผ˜็š„ๆจกๅž‹๏ผŒ่€Œๆจกๅผ่ฏ†ๅˆซๅญฆ่€…ๆ›ดๅ€พๅ‘ไบŽๅ…ˆๅคง่‡ดๅˆ†ๆž่ฟ™ไธชไปปๅŠกๆ›ด้€‚ๅˆไฝฟ็”จๅ“ชไธชๆจก
ๅž‹๏ผŒ้€‰ๅ–ๅŽไป”็ป†ไผ˜ๅŒ–่ฟ™ไธชๆจกๅž‹ใ€‚ๅฐฝ็ฎกไธค่€…ๆœ‰ไธ€ๅฎš็š„ๅทฎๅผ‚ๆ€ง๏ผŒไฝ†ๅพˆๅคšๆ–น้ขไธค่€…ๆ˜ฏๅ…ฑ
้€š็š„๏ผŒๆฏ”ๅฆ‚็ฅž็ป็ฝ‘็ปœใ€‚็ฅž็ป็ฝ‘็ปœๅนถไธไพ่ต–ไบŽๅ…ทไฝ“็š„ไปปๅŠก๏ผŒไนŸๅฐฑๆ˜ฏ่ฏด๏ผŒ่ฏญ้Ÿณ่ฏ†ๅˆซๅฏ
ไปฅ็”จ็ฅž็ป็ฝ‘็ปœๅค„็†๏ผŒๅ›พๅƒ่ฏ†ๅˆซไนŸๅฏไปฅ็”จ็ฅž็ป็ฝ‘็ปœๅค„็†๏ผŒไน‹ๆ‰€ไปฅ่ƒฝ่ฟ™ๆ ทๅš็š„ไธ€ไธชๅŽŸ
ๅ› ๆ˜ฏ๏ผŒ็ฅž็ป็ฝ‘็ปœ็š„ๅ†…้ƒจๅฏนไบŽๆˆ‘ไปฌ่€Œ่จ€ๆ˜ฏ้€ๆ˜Ž็š„๏ผŒๅฆ‚ๆžœๆˆ‘ไปฌๅช็œ‹้‡็ป“ๆžœ๏ผŒๅธŒๆœ›ๆœ‰ไธ€
ไธชๆจกๅž‹ๅฏไปฅๅœจ็ป™ๅฎšไธ€ไธช่พ“ๅ‡บ็š„ๆ—ถๅ€™่พ“ๅ‡บไธ€ไธชๅ†ณ็ญ–็ป“ๆžœ๏ผŒไธ้œ€่ฆๅ…ณๅฟƒ่ฟ™ไธช็ป“ๆžœๆ˜ฏๆ€Ž
ไนˆๅพ—ๅˆฐ็š„๏ผŒ้‚ฃไนˆ็ฅž็ป็ฝ‘็ปœๆ˜ฏไธ€ไธชๅพˆๅฅฝ็š„้€‰ๆ‹ฉใ€‚็ฅž็ป็ฝ‘็ปœ็š„็ง็ฑปไผ—ๅคš๏ผŒไธ€ไธชๅˆ†ๆ”ฏๆ˜ฏ
็Žปๅฐ”ๅ…นๆ›ผๆœบ๏ผŒ่ฟ™็ง็ฝ‘็ปœ็ตๆ„Ÿๆบ่‡ช็ปŸ่ฎก็‰ฉ็†ไธญ็š„็Žปๅฐ”ๅ…นๆ›ผๅˆ†ๅธƒไธŽไผŠ่พ›ๆจกๅž‹๏ผŒ้šๅŽ๏ผŒ
ๅœจ่ฟ™็ง็ฝ‘็ปœ็š„ๅŸบ็ก€ไธŠๅˆๅ‘ๅฑ•ๅ‡บไธ€ๅฅ—ๅ—้™็Žปๅฐ”ๅ…นๆ›ผๆœบ๏ผŒ้€š่ฟ‡่ฟ™ไบ›็ฝ‘็ปœ๏ผŒ้ƒฝๅฏไปฅๅปบ็ซ‹
ๆ•ฐๆฎ็š„ๆฆ‚็Ž‡ๅˆ†ๅธƒๆ่ฟฐใ€‚
3.1 ไผŠ่พ›ๆจกๅž‹
ไผŠ่พ›ๆจกๅž‹๏ผˆIsing model๏ผ‰ๆ˜ฏ็ปŸ่ฎก็‰ฉ็†ไธญๆ่ฟฐ็‰ฉ่ดจ็›ธๅ˜็š„ไธ€็งๆจกๅž‹
[16]
๏ผŒๆ˜ฏไธ€ไธช
็›ธไบ’็ฃ่€ฆๅˆ็š„่‡ชๆ—‹้˜ตๅˆ—ใ€‚ๆฏ”ๅฆ‚ๅœจ้“่ฟ™็ง็‰ฉ่ดจไธญ๏ผŒๅฝ“ๆธฉๅบฆ้™ๅˆฐๆŸไธช็จ‹ๅบฆ๏ผŒๅพฎ่ง‚ๅŽŸๅญ
็š„่‡ชๆ—‹ไผš่กจ็Žฐๅ‡บไธ€ๅฎš็š„ๅ€พๅ‘ๆ€ง๏ผŒไปŽ่€Œๅœจๅฎ่ง‚ไธŠไบง็”Ÿ็ฃ็Ÿฉ๏ผŒ่€Œๅฝ“ๆธฉๅบฆๅ‡้ซ˜ๅˆฐไธ€ๅฎš็จ‹
ๅบฆๆ—ถ๏ผŒๅ…ถ่‡ชๆ—‹ๅฐฑๅ˜ๅพ—้šๆœบใ€‚
ๅ‡ ่ฎพ ๆŸ ไธช ไผŠ ่พ› ๆจก ๅž‹ ไธญ ๆœ‰Nไธช ่‡ช ๆ—‹ ็š„ ๅŽŸ ๅญ๏ผŒ ๅฏน ไบŽ ๆฏ ไธช ๅŽŸ ๅญ๏ผŒ ๅ…ถ ็Šถ ๆ€ ๅช ่ƒฝ
ๅ–+1ๆˆ–โˆ’1๏ผŒๆˆ‘ไปฌ็”จๅ‘้‡sๆฅ่กจ็คบๆ‰€ ๆœ‰ ๅŽŸๅญ็š„็Šถ ๆ€๏ผŒไบฆ ๅณsไปฃ่กจ่ฟ™ไธช ไผŠ ่พ› ๆจกๅž‹็š„
็Šถๆ€๏ผŒ้‚ฃไนˆๆˆ‘ไปฌๅฎšไน‰่ฏฅไผŠ่พ›ๆจกๅž‹ๅค„ไบŽ็Šถๆ€sไธ‹็š„่ƒฝ้‡ๅ‡ฝๆ•ฐไธบ
[16]
E(s; W, H) = โˆ’
๎จ
1
2
N
๎˜
i, j =1
w
i j
s
i
s
j
+
๎˜
j
Hs
j
๎ฉ
(3-1)
ๅผไธญ๏ผŒw
i j
ไปฃ่กจๅŽŸๅญiๅ’ŒๅŽŸๅญ jไน‹้—ด็š„่€ฆๅˆ๏ผŒๅฆ‚ๆžœiๅ’Œ jๆ˜ฏ็›ธ้‚ป็š„๏ผŒ้‚ฃไนˆw
i j
= C๏ผŒๅฆ
ๅˆ™w
i j
= 0๏ผŒๅฆ‚ๆžœๅธธๆ•ฐC > 0๏ผŒ้‚ฃไนˆ่ฟ™ไธชๆจกๅž‹ๆ˜ฏ้“็ฃๆ€ง็š„๏ผŒๅฆๅˆ™ๆ˜ฏๅ้“็ฃๆ€ง็š„ใ€‚ๅธธ
- 12 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ๆ•ฐHไปฃ่กจไฝœ็”จๅœบ๏ผŒE(s; w, H)ไปฃ่กจ่ƒฝ้‡ๅ‡ฝๆ•ฐ๏ผŒๅฏนไบŽไธ€่ˆฌๅŒ–็š„่ƒฝ้‡ๅ‡ฝๆ•ฐ๏ผŒๆˆ‘ไปฌไนŸ็งฐไน‹
ไธบLyapunovๅ‡ฝๆ•ฐใ€‚ๅฆ‚ๆžœๅฐ†่ฟ™ไธช่ƒฝ้‡ๅ‡ฝๆ•ฐๆŽจๅนฟๅˆฐHๅ’ŒWไธๆ˜ฏๅธธๆ•ฐ็š„ๆƒ…ๅ†ต๏ผŒๅณ
[16]
E(s; W, H) = โˆ’
๎จ
1
2
N
๎˜
i, j =1
w
i j
s
i
s
j
+
๎˜
j
h
j
s
j
๎ฉ
(3-2)
ๆญคๆ—ถๆˆ‘ไปฌๅฐ†ๅพ—ๅˆฐไธ€ไธช็‰ฉ็†ๅญฆๅฎถ็งฐไน‹ไธบโ€œ่‡ชๆ—‹็Žป็’ƒโ€็š„ๆจกๅž‹๏ผŒ่ฟ™ไนŸๆ˜ฏ็ฅž็ป็ฝ‘็ปœไธญ็š„
โ€œHop๏ฌeld็ฝ‘็ปœโ€ใ€‚
3.2 ็Žปๅฐ”ๅ…นๆ›ผๆœบ
ๅœจ็ปŸ่ฎก็‰ฉ็†ไธญ๏ผŒๅฏนไบŽไธ€ไธชๅ…ทๆœ‰ไธ€ๅฎš่‡ช็”ฑๅบฆ็š„็‰ฉ็†็ณป็ปŸ๏ผŒๅ…ถ็ณป็ปŸ็š„็Šถๆ€ๆ˜ฏๅ…ท
ๆœ‰้šๆœบๆ€ง็š„่€Œไธๆ˜ฏๅ›บๅฎš็š„๏ผˆๆฏ”ๅฆ‚ๆˆฟ้—ดไธญ็š„ๆฐงๆฐ”ๅˆ†ๅญๅˆ†ๅธƒ๏ผ‰๏ผŒๅ‡่ฎพ็ณป็ปŸๅค„ไบŽๆŸไธช็Šถ
ๆ€i็š„ๆฆ‚็Ž‡ไธบp
i
๏ผŒ้‚ฃไนˆๅฝ“็ณป็ปŸไธŽๅค–็•Œ่พพๅˆฐ็ƒญๅนณ่กกๆ—ถ๏ผŒๅ…ถๆฆ‚็Ž‡ๅˆ†ๅธƒไธบ
p
i
=
1
Z
T
e
โˆ’E
i
/T
(3-3)
ๅผไธญ๏ผŒT ไปฃ่กจ็ณป็ปŸๆ‰€ๅค„็š„ๆธฉๅบฆ๏ผŒE
i
ไปฃ่กจ็ณป็ปŸๅค„ๅœจi็Šถๆ€ไธ‹็š„่ƒฝ้‡๏ผŒZ
T
ๆ˜ฏๅœจT ๆธฉๅบฆไธ‹ไธบ
ไบ†ไฝฟๅพ—ๆฆ‚็Ž‡ๆปก่ถณๆŸฏๅฐ”่Žซๆžœๆด›ๅคซ็ฌฌไบŒๅ…ฌ็†็š„ๅฝ’ไธ€ๅŒ–ๅธธๆ•ฐใ€‚่ฟ™ไธชๅˆ†ๅธƒไนŸ็งฐไน‹ไธบๆญฃๅˆ™ๅˆ†
ๅธƒๆˆ–ๅ‰ๅธƒๆ–ฏๅˆ†ๅธƒใ€‚
ๅœจๆœบๅ™จๅญฆไน ไธญ๏ผŒๆˆ‘ไปฌๅพ€ๅพ€่‡ชๅฎšไน‰ไธ€ไธช่ƒฝ้‡ๅ‡ฝๆ•ฐ๏ผŒ็„ถๅŽ้€š่ฟ‡ๆญฃๅˆ™ๅˆ†ๅธƒๅปบ็ซ‹ๆจกๅž‹๏ผŒ
้€š่ฟ‡่ฟ™็งๅŸบไบŽ่ƒฝ้‡็š„ๆจกๅž‹ๆฅๅฏนๆ•ฐๆฎ่ฟ›่กŒๅˆ†ๆžใ€‚ๆ‰€ไปฅๆญฃๅˆ™ๅˆ†ๅธƒๅฏไปฅ็œ‹ๅšๆ˜ฏๆœบๅ™จๅญฆไน 
ไธŽ็ปŸ่ฎก็‰ฉ็†้—ด็š„ๆกฅๆขใ€‚
ๅฆ‚ๆžœๅฐ†ๅผ(3-2)ไธญ็š„ไฝœ็”จๅœบๅŽปๆŽ‰๏ผŒๅนถๆ”นๅ†™ๆˆ็Ÿฉ้˜ตๅฝขๅผ๏ผŒๅˆ™ๅพ—ๅˆฐ็Žปๅฐ”ๅ…นๆ›ผๆœบไธญ็š„
่ƒฝ้‡ๅ‡ฝๆ•ฐ
E(s; W) = โˆ’
1
2
s
T
W s (3-4)
ไบ‹ๅฎžไธŠ๏ผŒๅœจๆœบๅ™จๅญฆไน ไธญๆˆ‘ไปฌๅนถไธๅ…ณๅฟƒๅธธๆ•ฐT ๏ผŒๅˆ™็Žปๅฐ”ๅ…นๆ›ผๅˆ†ๅธƒไธบ
p
i
=
1
Z
e
โˆ’E
i
=
1
Z
exp
๎จ
1
2
s
T
W s
๎ฉ
(3-5)
ๅฏนไบŽไธ€ไธชๆ•ฐๆฎๅฏน่ฑก๏ผŒๅ‡่ฎพๆˆ‘ไปฌ่ƒฝ่ง‚ๅฏŸๅˆฐn็ปด็‰นๅพ๏ผŒไฝ†ไธไป…ไป…ไปฃ่กจ่ฟ™ไธชๆ•ฐๆฎๅช
ๅซn็ปด็‰นๅพ๏ผŒๅ› ๆญคๆˆ‘ไปฌๅพ€ๅพ€ๅผ•ๅ…ฅ้šๅซ็‰นๅพ็š„ๆฆ‚ๅฟต๏ผŒๅ‡่ฎพๅฏนไบŽไธ€ไธชๅฏน่ฑก๏ผŒๆˆ‘ไปฌ่ƒฝ่ง‚ๅฏŸ
ๅˆฐvไธช็‰นๅพ๏ผŒ้‚ฃไนˆๆˆ‘ไปฌ็”จvไธช่Š‚็‚นๆฅ่กจ็คบ่ฟ™ไบ›็‰นๅพ๏ผŒๅˆๅ‡่ฎพๆˆ‘ไปฌ่‡ชๅฎšไน‰้šๅซ็š„็‰นๅพ
ไธบhไธช๏ผŒ้‚ฃไนˆๆˆ‘ไปฌ็”จhไธช่Š‚็‚นๆฅไปฃ่กจ่ฟ™ไธช็‰นๅพใ€‚ๆฏ”ๅฆ‚ๅ›พ3-1 ไปฃ่กจไบ†ๅซๆœ‰4ไธชๅฏ่ง่Š‚็‚น
ๅ’Œ2ไธช้šๅซ่Š‚็‚น็š„็Žปๅฐ”ๅ…นๆ›ผ็ฝ‘็ปœใ€‚
็”ฑๅ›พ3-1 ๅฏ่ง๏ผŒๅœจ็Žปๅฐ”ๅ…นๆ›ผๆœบไธญ๏ผŒๅฏ่ง่Š‚็‚นไธŽๅฏ่ง่Š‚็‚นไน‹้—ดใ€้šๅซ่Š‚็‚นไธŽ้šๅซ
่Š‚็‚นไน‹้—ดๆ˜ฏๅฏไปฅๆœ‰่ฟžๆŽฅ็š„๏ผŒๅ› ๆญค่ฟ™ๆ˜ฏไธ€ไธชๅ้ฆˆ็ฝ‘็ปœใ€‚ๅฑ‚ๅ†…่Š‚็‚นๆœ‰่ฟžๆŽฅๅฏไปฅๅคงๅคงๅœฐ
- 13 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
a) ๆœชๆ‹“ๆ‰‘ๅ‰็š„็Žปๅฐ”ๅ…นๆ›ผๆœบ b) ๆ‹“ๆ‰‘ๅŽ็š„็Žปๅฐ”ๅ…นๆ›ผๆœบ
ๅ›พ 3-1 ็Žปๅฐ”ๅ…นๆ›ผๆœบ็ฝ‘็ปœๆž„ๅž‹
ๅขžๅผบ็ฝ‘็ปœ็š„่กจ่พพ่ƒฝๅŠ›๏ผŒไฝ†ๆ˜ฏไนŸๅคงๅคงๅœฐๅขžๅŠ ไบ†็ฝ‘็ปœ็š„่ฎญ็ปƒ้šพๅบฆ๏ผŒๅ› ๆญค็Žปๅฐ”ๅ…นๆ›ผๆœบๅนถ
ๆฒกๆœ‰้žๅธธๆˆๅŠŸๅœฐ่งฃๅ†ณไบบๅทฅๆ™บ่ƒฝ็š„ไปปๅŠกใ€‚
3.3 ๅ—้™็Žปๅฐ”ๅ…นๆ›ผๆœบ
ๅœจๅ—้™็Žปๅฐ”ๅ…นๆ›ผๆœบ๏ผˆRestrict Boltzmann Machine๏ผŒRBM๏ผ‰ไธญ๏ผŒๆˆ‘ไปฌๅ–ๆถˆๅฑ‚้—ด่ฟž
ๆŽฅ๏ผŒไปŽ่€Œๅ‡บๅ‘ๅŽ็ป่ฟ‡่‹ฅๅนฒๆฌกโ€œ็งปๅŠจโ€ไนŸๆ— ๆณ•ๅ›žๅˆฐๅŽŸ็‚น๏ผŒๅ› ๆญคRBMไนŸๅฏไปฅ่ฎคไธบๆ˜ฏไธ€
ไธชๆœ‰ๅ‘ๆ— ็Žฏๅ›พใ€‚ๅ…ถ็ฝ‘็ปœ็ป“ๆž„ๅ›พ3-2 ๆ‰€็คบใ€‚
ๅ›พ 3-2 RBM ็ฝ‘็ปœๆž„ๅž‹
ไธบไบ†ๆ–นไพฟๅพ€ๅŽ็š„่ฎจ่ฎบ๏ผŒๆˆ‘ไปฌ็บฆๅฎš็ฝ‘็ปœๅ‚ๆ•ฐ็š„ๆ•ฐๅญฆ็ฌฆๅทๅฆ‚ไธ‹
W
n
h
ร—n
v
=
๏ฃฎ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฐ
w
1,1
w
1,2
ยทยทยท w
1,n
v
w
2,1
w
2,2
ยทยทยท w
2,n
v
.
.
.
.
.
.
.
.
.
.
.
.
w
n
h
,1
w
n
h
,2
ยทยทยท w
n
h
,n
v
๏ฃน
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃป
v =
๏ฃฎ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฐ
v
1
v
2
.
.
.
v
n
v
๏ฃน
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃป
h =
๏ฃฎ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฐ
h
1
h
2
.
.
.
h
n
h
๏ฃน
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃป
b
v
=
๏ฃฎ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฐ
b
v
1
b
v
2
.
.
.
b
v
n
v
๏ฃน
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃป
b
h
=
๏ฃฎ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฐ
b
h
1
b
h
2
.
.
.
b
h
n
h
๏ฃน
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃป
(3-6)
ๅผไธญ๏ผŒW
n
h
ร—n
v
ไปฃ่กจ็ฝ‘็ปœ็š„ๆƒๅ€ผๅ‚ๆ•ฐ๏ผŒw
i j
ไปฃ่กจ็ฌฌiไธช้šๅซ่Š‚็‚นๅˆฐ็ฌฌ jไธชๅฏ่ง่Š‚็‚น้—ด็š„
่ฟžๆŽฅๆƒๅ€ผ๏ผŒๅ› ๆญคW
n
h
ร—n
v
็š„็ฌฌi่กŒไปฃ่กจไบ†้€šๅ‘h
i
็š„ๆ‰€ๆœ‰่ฟžๆŽฅ็š„ๆƒๅ€ผ๏ผŒ็ฌฌ jๅˆ—ไปฃ่กจไบ†้€š
- 14 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ๅพ€v
j
็š„ๆ‰€ๆœ‰่ฟžๆŽฅ็š„ๆƒๅ€ผใ€‚vไปฃ่กจๅฏ่ง่Š‚็‚น็š„็Šถๆ€๏ผŒhไปฃ่กจ้šๅซ่Š‚็‚น็š„็Šถๆ€๏ผŒb
v
ไปฃ่กจ้š
ๅซๅฑ‚ๅˆฐๅฏ่งๅฑ‚็š„ๅ็ฝฎ๏ผŒb
h
ไปฃ่กจๅฏ่งๅฑ‚ๅˆฐ้šๅซๅฑ‚็š„ๅ็ฝฎใ€‚
ๅœจRBMไธญ๏ผŒๆˆ‘ไปฌๅฎšไน‰ๅ…ถLyapunovๅ‡ฝๆ•ฐๅฆ‚ไธ‹
[26]
๏ผš
E(v, h) = โˆ’
n
v
๎˜
i=1
b
v
i
v
i
โˆ’
n
h
๎˜
j=1
b
h
j
h
j
โˆ’
n
v
๎˜
i=1
n
h
๎˜
j=1
h
j
w
j,i
v
i
(3-7)
่‹ฅๅฐ†(3-7)ๅ†™ๆˆ็Ÿฉ้˜ตๅฝขๅผ๏ผŒๅˆ™ไธบ๏ผš
E(v, h) = โˆ’b
T
v
v โˆ’ b
T
h
h โˆ’ h
T
Wv (3-8)
็”ฑๆญฃๅˆ™ๅˆ†ๅธƒ็š„ๅฎšไน‰(3-3)๏ผŒๆˆ‘ไปฌๅฏไปฅๅพ—ๅˆฐv๏ผŒh็š„่”ๅˆๅˆ†ๅธƒไธบ
p(v, h) =
1
Z
e
โˆ’E(v,h)
(3-9)
ๅ…ถไธญ้…ๅˆ†ๅ‡ฝๆ•ฐZไธบ
Z =
๎˜
v,h
e
โˆ’E(v,h)
(3-10)
็”ฑไบŽๅฎž้™…ไธญๆˆ‘ไปฌๅพ€ๅพ€ๅช่ƒฝ่ง‚ๅฏŸๅˆฐๅฏ่ง่Š‚็‚น๏ผŒๅ› ๆญคๅฏน่”ๅˆๅˆ†ๅธƒ(3-9)่พน็ผ˜ๅŒ–ๅพ—
p(v) =
๎˜
h
1
Z
e
โˆ’E(v,h)
=
1
Z
๎˜
h
e
โˆ’E(v,h)
(3-11)
่ฟ™ไธชp(v)ๆ€ปๅฏไปฅๅ†™ๆˆๅฆ‚ไธ‹ๅฝขๅผ๏ผš
p(v) =
e
โˆ’F(v)
Z
(3-12)
ๅผไธญ๏ผŒๆˆ‘ไปฌ็งฐF(v)ไธบ่‡ช็”ฑ่ƒฝๅ‡ฝๆ•ฐ
[4]
๏ผŒ็”ฑๅผ(3-11)ไธŽ(3-12)๏ผŒๆˆ‘ไปฌไธ้šพๆŽจๅ‡บF(v)ไธบ
F(v) = โˆ’ln
๎˜
h
e
โˆ’E(v,h)
(3-13)
ไธบไบ†็ปง็ปญๆˆ‘ไปฌๅพ€ไธ‹็š„่ฎจ่ฎบ๏ผŒๆˆ‘ไปฌไธๅŠ ่ฏๆ˜Žๅœฐๅผ•ๅ…ฅๅ…ณไบŽๅ—้™็Žปๅฐ”ๅ…นๆ›ผๆœบ็š„ไธ€ไธช
ๅฎš็†๏ผš
ๅฎš็† 3.1 ๅœจRBMไธญ๏ผŒๅœจ็ป™ๅฎšๅฏ่งๅ…ƒ็Šถๆ€ๆ—ถ๏ผŒ้šๅซๅ…ƒ็š„ๆฟ€ๆดปๆกไปถ็‹ฌ็ซ‹๏ผ›ๅไน‹๏ผŒๅœจ็ป™
ๅฎš้šๅซๅ…ƒ็Šถๆ€ๆ—ถ๏ผŒๅฏ่งๅ…ƒ็š„ๆฟ€ๆดปๆกไปถ็‹ฌ็ซ‹ใ€‚
ๆญคๅค–๏ผŒๆˆ‘ไปฌ่ฟ˜้œ€ๅผ•ๅ…ฅไธ€ไบ›่ฎฐๅท
h
โˆ’k
= (h
1
, h
2
, ยทยทยท , h
kโˆ’1
, h
k+1
, ยทยทยท , h
n
h
)
T
(3-14)
ฮฑ(k) = b
h
k
+
n
v
๎˜
i=1
w
k,i
v
i
(3-15)
ฮฒ(v, h
โˆ’k
) =
n
v
๎˜
i=1
b
v
i
v
i
+
n
h
๎˜
j=1
j๎€ฌk
b
h
j
h
j
+
n
v
๎˜
i=1
n
h
๎˜
j=1
j๎€ฌk
h
j
w
j,i
v
i
(3-16)
- 15 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ๅณh
โˆ’k
ไปฃ่กจ้™คkๅค–็š„ๆ‰€ๆœ‰้šๅซๅ…ƒ็Šถๆ€๏ผŒฮฒ(v, h
โˆ’k
)ไปฃ่กจ้™คh
k
ๅค–ๆ‰€ๆœ‰่Š‚็‚นๆž„ๆˆ็š„่ƒฝ้‡ๅ‡ฝๆ•ฐใ€‚
ๅ› ๆญค๏ผŒๆ€ป็š„่ƒฝ้‡ๅ‡ฝๆ•ฐ(3-7)ๅฏไปฅๅ†™ไธบ
E(v, h) = โˆ’ฮฒ(v, h
โˆ’k
) โˆ’ h
k
ฮฑ(k) (3-17)
ไธ‹้ขๆˆ‘ไปฌๆฅๆŽจๅฏผ้šๅซๅฑ‚็š„ๆฟ€ๆดปๅ‡ฝๆ•ฐ๏ผŒๅœจ็ป™ๅฎšๅฏ่ง่Š‚็‚น็Šถๆ€ๆ—ถ๏ผŒๅฏนไบŽ่Š‚็‚นh
k
๏ผŒ
ๅ…ถๆฟ€ๆดปๆฆ‚็Ž‡ไธบ
P(h
k
= 1|v) (3-18)
็”ฑๅฎš็†3.1๏ผŒๅผ(3-18)็ญ‰ไปทไบŽ
P(h
k
= 1|h
โˆ’k
, v) =
P(h
k
= 1, h
โˆ’k
, v)
P(h
โˆ’k
, v)
=
P(h
k
= 1, h
โˆ’k
, v)
P(h
k
= 0, h
โˆ’k
, v) + P(h
k
= 1, h
โˆ’k
, v)
=
1
1 + exp
๎€
โˆ’ E(h
k
= 0, h
โˆ’k
, v) + E(h
k
= 1, h
โˆ’k
, v)
๎€‘
=
1
1 + exp
๎จ๎€
ฮฒ(v, h
โˆ’k
) + ฮฑ(k) ยท 0
๎€‘
+
๎€
โˆ’ ฮฒ(v, h
โˆ’k
) โˆ’ ฮฑ(k) ยท 1
๎€‘๎ฉ
=
1
1 + e
โˆ’ฮฑ(k)
= sigmoid
๎€
ฮฑ(k)
๎€‘
(3-19)
ๅ› ๆญค๏ผŒ็ป™ๅฎšๅฏ่งๅฑ‚็Šถๆ€ๆ—ถ๏ผŒ้šๅซๅ…ƒk็š„ๆฟ€ๆดปๆฆ‚็Ž‡ไธบ
P(h
k
= 1|v) = sigmoid(b
h
k
+
n
v
๎˜
j=1
w
k, j
v
j
) (3-20)
ๅŒ็†ๅฏๆŽจๅฏผๅœจ็ป™ๅฎš้šๅซๅฑ‚็Šถๆ€ๆ—ถ๏ผŒๅฏ่งๅ…ƒk็š„ๆฟ€ๆดปๆฆ‚็Ž‡ไธบ
P(v
k
= 1|h) = sigmoid(b
v
k
+
n
k
๎˜
i=1
w
i,k
h
i
) (3-21)
็”ฑๅฎš็†3.1็š„็‹ฌ็ซ‹ๆ€งๅฏ็Ÿฅ
P(h|v) =
n
k
๎™
j=1
P(h
j
|v) (3-22)
P(v|h) =
n
v
๎™
i=1
P(v
i
|h) (3-23)
ๅœจRBMไธญ๏ผŒๆˆ‘ไปฌ็š„็›ฎๆ ‡ๆ˜ฏ่ฎญ็ปƒๅ‚ๆ•ฐW๏ผŒb
v
๏ผŒb
h
ไฝฟๅพ—ๆจกๅž‹่ƒฝๆˆๅŠŸๅœฐๅˆป็”ปๅ‡บๆ•ฐๆฎ
ๅˆ†ๅธƒใ€‚ไธบไบ†ๆ–นไพฟ่ตท่ง๏ผŒๆˆ‘ไปฌ่ฎฐฮธ = (W, b
v
, b
h
)๏ผŒๆณจๆ„๏ผŒ่ฟ™ๅนถไธๆ˜ฏ็Ÿฉ้˜ตๅˆๅนถ๏ผŒ่€Œๆ˜ฏๅฐ†ๆ‰€
ๆœ‰็š„ๅ‚ๆ•ฐ็”จฮธๆฅไปฃๆ›ฟใ€‚
ๅ‡ๅฎšๆˆ‘ไปฌๆœ‰ไธ€ไธช่ฎญ็ปƒ้›†S
- 16 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
S = {v
(1)
, v
(2)
, ยทยทยทv
(i)
, ยทยทยท , v
(n
s
)
} (3-24)
ๅ…ถไธญn
s
ไธบ่ฎญ็ปƒๆ ทๆœฌๆ•ฐ๏ผŒv
(i)
ไธบ็ฌฌiไธชๆ ทๆœฌไธ”
v
(i)
= [v
(i)
1
, v
(i)
2
, ยทยทยท , v
(i)
n
v
]
T
(3-25)
็”ฑไบŽๆ ทๆœฌๆ˜ฏ็‹ฌ็ซ‹็š„๏ผŒๅ› ๆญคไผผ็„ถๅ‡ฝๆ•ฐไธบ
L(ฮธ) =
n
s
๎™
i=1
P(v
(i)
) (3-26)
ๅฏนๅบ”็š„ๅฏนๆ•ฐไผผ็„ถไธบ
โ„“(ฮธ) = ln
n
s
๎™
i=1
P(v
(i)
) =
n
s
๎˜
i=1
ln P(v
(i)
) (3-27)
ๅฏนไบŽๆ•ดไธช่ฎญ็ปƒ้›†๏ผŒๆˆ‘ไปฌ่ฆไผ˜ๅŒ–ๅ‚ๆ•ฐ๏ผŒไฝฟๅพ—ไผผ็„ถๆœ€ๅคงๅŒ–๏ผŒๅ‡่ฎพๆˆ‘ไปฌไฝฟ็”จๆขฏๅบฆไธŠ
ๅ‡ๆ–นๆณ•๏ผŒๅˆ™้’ˆๅฏนๆŸไธชๆ ทๆœฌห†v ๏ผŒๅ‚ๆ•ฐ็š„ๆ›ดๆ–ฐ่ง„ๅˆ™ไธบ
ฮธ = ฮธ + ฮท
โˆ‚ ln L
ห†v
โˆ‚ฮธ
(3-28)
ๅ…ถไธญ
ln L
ห†v
= ln P (ห†v)
= ln
๎จ
1
Z
๎˜
h
e
โˆ’E(ห†v,h)
๎ฉ
= ln
๎˜
h
e
โˆ’E(ห†v,h)
โˆ’ ln Z
(3-29)
ไปŽ่€Œ
โˆ‚ ln L
ห†v
โˆ‚ฮธ
=
โˆ‚
โˆ‚ฮธ
๎จ
ln
๎˜
h
e
โˆ’E(ห†v,h)
๎ฉ
โˆ’
โˆ‚
โˆ‚ฮธ
ln Z
(3-30)
็”ฑๅผ(3-10)ใ€ๅผ(3-11)ใ€ๅผ(3-12)๏ผŒๅพ—
โˆ‚ ln L
ห†v
โˆ‚ฮธ
= โˆ’
โˆ‚
โˆ‚ฮธ
F(ห†v) +
1
Z
๎˜
v
e
โˆ’F(v)
โˆ‚
โˆ‚ฮธ
F(v)
= โˆ’
โˆ‚
โˆ‚ฮธ
F(ห†v) +
๎˜
v
p(v)
โˆ‚
โˆ‚ฮธ
F(v)
(3-31)
้€š่ฟ‡่‡ช็”ฑ่ƒฝๅ‡ฝๆ•ฐF(v)ๅฏนๅ‚ๆ•ฐฮธๆฑ‚ๅๅฏผ๏ผŒๆˆ‘ไปฌๆœ‰
โˆ‚
โˆ‚ฮธ
F(v) =
๎
h
e
โˆ’E(v,h)
ยท
โˆ‚E(v,h)
โˆ‚ฮธ
๎
h
e
โˆ’E(v,h)
=
๎˜
h
e
โˆ’E(v,h)
/Z
๎
h
e
โˆ’E(v,h)
/Z
ยท
โˆ‚E(v, h)
โˆ‚ฮธ
=
๎˜
h
p(v, h)
p(v)
ยท
โˆ‚E(v, h)
โˆ‚ฮธ
(3-32)
ไปŽ่€Œ๏ผŒๅผ(3-31)็ญ‰ไปทไบŽ
- 17 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
โˆ‚ ln L
ห†v
โˆ‚ฮธ
= โˆ’
๎˜
h
p(ห†v, h)
p(ห†v)
ยท
โˆ‚E(ห†v, h)
โˆ‚ฮธ
+
๎˜
v
p(v)
๎˜
h
p(v, h)
p(v)
ยท
โˆ‚E(v, h)
โˆ‚ฮธ
= โˆ’
๎˜
h
p(h|ห†v) ยท
โˆ‚E(ห†v, h)
โˆ‚ฮธ
+
๎˜
v,h
p(v, h)
โˆ‚E(v, h)
โˆ‚ฮธ
= โˆ’E
p(h|ห†v)
๎€”
โˆ‚E(ห†v, h)
โˆ‚ฮธ
๎€•
+ E
p(v,h)
๎€”
โˆ‚E(v, h)
โˆ‚ฮธ
๎€•
(3-33)
ๅผไธญ๏ผŒE
p(h|ห†v)
ไธบp(h|ห†v)ๅˆ†ๅธƒไธ‹็š„ๆœŸๆœ›๏ผŒE
p(v,h)
ไธบp(v, h)ๅˆ†ๅธƒไธ‹็š„ๆœŸๆœ›ใ€‚
้€š่ฟ‡ๅผ(3-33)๏ผŒๆˆ‘ไปฌๅฐฑๅฏไปฅ่ฎก็ฎ—็›ธๅฏนไบŽๆŸไธชๆ ทๆœฌห†v็š„ๅฏนๆ•ฐไผผ็„ถๆขฏๅบฆใ€‚ๅผ(3-33)ไธญ
็š„็ฌฌไธ€้กนๆ˜ฏๅฎนๆ˜“่ฎก็ฎ—็š„๏ผŒๅ› ไธบๆˆ‘ไปฌๅทฒ็ปๆŽจๅฏผๅ‡บไบ†p(h|v)็š„ๅˆ†ๅธƒๅฝขๅผ๏ผŒๅณๅผ(3-20)ๅ’Œ
ๅผ(3-22)ใ€‚็”ฑไบŽๆˆ‘ไปฌ็ฎ€่ฎฐฮธ = (W, b
v
, b
h
)๏ผŒๅ› ๆญคๆˆ‘ไปฌ้œ€่ฆๅฏนW๏ผŒb
v
๏ผŒb
h
ไธ‰ไธชๅ‚ๆ•ฐๅˆ†ๅˆซ
ๆŽจๅฏผๆขฏๅบฆๅ…ฌๅผใ€‚
๎˜
h
p(h|v)
โˆ‚E(v, h)
โˆ‚w
i j
= โˆ’
๎˜
h
n
h
๎™
k=1
p(h
k
|v)h
i
v
j
= โˆ’
๎˜
h
i
๎˜
h
โˆ’i
p(h
i
|v)p(h
โˆ’i
|v)h
i
v
j
= โˆ’
๎˜
h
i
p(h
i
|v)h
i
v
j
๎˜
h
โˆ’i
p(h
โˆ’i
|v)
= โˆ’
๎˜
h
i
p(h
i
|v)h
i
v
j
= โˆ’
๎˜
h
i
p(h
i
|v)v
j
(3-34)
๎˜
h
p(h|v)
โˆ‚E(v, h)
โˆ‚b
h
i
= โˆ’
๎˜
h
n
h
๎™
k=1
p(h
k
|v)h
i
= โˆ’
๎˜
h
i
๎˜
h
โˆ’i
p(h
i
|v)p(h
โˆ’i
|v)h
i
= โˆ’
๎˜
h
i
p(h
i
|v)h
i
๎˜
h
โˆ’i
p(h
โˆ’i
|v)
= โˆ’
๎˜
h
i
p(h
i
|v)h
i
= โˆ’
๎˜
h
i
p(h
i
|v)
(3-35)
๎˜
h
p(h|v)
โˆ‚E(v, h)
โˆ‚b
vi
= โˆ’
๎˜
h
p(h|v)v
i
= โˆ’ v
i
(3-36)
- 18 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ๅฐฝ็ฎกๆˆ‘ไปฌๅฏไปฅๅพˆๅฎนๆ˜“ๅœฐ้€š่ฟ‡ๅผ(3-34)ใ€ๅผ(3-35)ใ€ๅผ(3-36)่ฎก็ฎ—ๅผ(3-33)ไธญ็š„
็ฌฌ ไธ€ ้กน๏ผŒ ไฝ† ๆ˜ฏ ็ฌฌ ไบŒ ้กน ๅด ๆ—  ๆณ• ่ฎก ็ฎ—๏ผŒๅ›  ไธบ ็ฌฌ ไบŒ ้กน ๆถ‰ ๅŠ ๅˆฐ ๅฝ’ ไธ€ ๅŒ– ๅ›  ๅญZ๏ผŒ ่ฟ™ ๅฐ†
ๆ˜ฏO(2
n
v
+n
h
)ๅคๆ‚ๅบฆ็š„้กน๏ผŒๅ› ๆญคๆˆ‘ไปฌ้œ€่ฆไฝฟ็”จ้ฉฌๅฐ”ๅฏๅคซ้“พ่’™็‰นๅก็ฝ—ๆ–นๆณ•๏ผˆMCMC๏ผ‰่ฟ›
่กŒๅค„็†ใ€‚
3.4 ๆœฌ็ซ ๅฐ็ป“
ๆœฌ็ซ ไธญ๏ผŒๆˆ‘ไปฌไปŽไผŠ่พ›ๆจกๅž‹ๅ‡บๅ‘๏ผŒๅผ•ๅ…ฅ็Žปๅฐ”ๅ…นๆ›ผๆœบ๏ผŒ่ฟ›ไธ€ๆญฅๆŽจๅนฟๅˆฐๅ—้™ๆณขๅฐ”ๅ…น
ๆ›ผๆœบใ€‚ๅœจๅ—้™็Žปๅฐ”ๅ…นๆ›ผๆœบไธญ๏ผŒๆˆ‘ไปฌๅปบ็ซ‹ไบ†ๅฏนๆ•ฐๆฎๆ่ฟฐ็š„ๆฆ‚็Ž‡ๅˆ†ๅธƒๅณๆญฃๅˆ™ๅˆ†ๅธƒ๏ผŒ้š
ๅŽ๏ผŒๆˆ‘ไปฌๆŽจๅฏผๅ‡บๅ—้™็Žปๅฐ”ๅ…นๆ›ผๆœบไธญ็”ฑๅฏ่ง่Š‚็‚นๆฟ€ๆดป้šๅซ่Š‚็‚นไปฅๅŠ็”ฑ้šๅซ่Š‚็‚นๆฟ€ๆดป
ๅฏ่ง่Š‚็‚นๆ‰€ไฝฟ็”จ็š„ๅ…ฌๅผ๏ผŒๆญคๆ—ถ๏ผŒๅฆ‚ๆžœๆ•ดไธช็ฝ‘็ปœ็š„ๅ‚ๆ•ฐๆ˜ฏ็กฎๅฎš็š„๏ผŒ้‚ฃไนˆ๏ผŒๅˆฉ็”จ่ฟ™ไธช
็ฝ‘็ปœๅฏไปฅๅˆป็”ปๆ•ฐๆฎ็š„็‰นๅพใ€‚ไฝ†็”ฑไบŽๆœช็ป่ฎญ็ปƒ็š„็ฝ‘็ปœๅ‚ๆ•ฐๆ˜ฏๆœช็Ÿฅ็š„๏ผŒๆˆ‘ไปฌ้œ€่ฆไฝฟ็”จ
ๆ ทๆœฌๆฅๆฑ‚ๅ–ๅ‚ๆ•ฐ็š„่ฟ‘ไผผๅ€ผ๏ผŒๆฑ‚ๅ–็š„ๆ–นๆณ•ๆˆ‘ไปฌไฝฟ็”จๆžๅคงไผผ็„ถ๏ผŒไธบไบ†ไฝฟ็”จๆขฏๅบฆไธ‹้™ๆ–น
ๆณ•ๆœ€ๅคงๅŒ–ไผผ็„ถๅ‡ฝๆ•ฐ๏ผŒๆˆ‘ไปฌๅฏนไผผ็„ถๅ‡ฝๆ•ฐๆฑ‚ๅฏผ๏ผŒ่ฟ›่€Œๅพ—ๅˆฐๆฏไธ€ๆญฅ่ฟญไปฃๆ‰€ไฝฟ็”จ็š„ๆขฏๅบฆใ€‚
ไฝ†็”ฑไบŽ่ฟ™ไธชๆขฏๅบฆๆœ‰ไธ€้กนไธๅฎนๆ˜“ๆฑ‚ๅ–๏ผŒๆˆ‘ไปฌ้œ€่ฆๅˆฉ็”จ้ฉฌๅฐ”ๅฏๅคซ้“พ่’™็‰นๅก็ฝ—ๆ–นๆณ•ๆฅๅค„
็†๏ผŒไฝ†ๆœฌ็ซ ๆฒกๆœ‰่ฏฆ็ป†่ฎจ่ฎบ๏ผŒๅ› ๆญค๏ผŒๆœฌ็ซ ่Š‚ๅนถไธๆ˜ฏไธ€ไธช็‹ฌ็ซ‹็š„็ซ ่Š‚๏ผŒ่€ƒ่™‘ๅˆฐ้ฉฌๅฐ”ๅฏ
ๅคซ้“พ่’™็‰นๅก็ฝ—ๆ–นๆณ•ๆ‰€่•ดๅซ็š„ๅ†…ๅฎน่พƒๅคš๏ผŒๆ‰€ไปฅๆˆ‘ไปฌๅฐ†ๅ…ถ็‹ฌ็ซ‹ๆˆไธบไธ€็ซ ใ€‚
- 19 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
็ฌฌ 4 ็ซ  ้ฉฌๅฐ”ๅฏๅคซ้“พ่’™็‰นๅก็ฝ—ๆ–นๆณ•
่’™็‰นๅก็ฝ—ๆ–นๆณ•่ขซ่ฏ„ไธบโ€œ20ไธ–็บชๅๅคง็ฎ—ๆณ•โ€ไน‹ไธ€๏ผŒ่‡ช20ไธ–็บช50ๅนดไปฃ่ฏฅๆ–นๆณ•่ขซๆ
ๅ‡บๅŽ็š„ๅ‡ ๅๅนด้‡Œๅทฒ่ขซๅญฆๆœฏ็•ŒไธŽๅทฅไธš็•Œๅนฟๆณ›ๅบ”็”จใ€‚่ฟ™ๅฅ—ๆ–นๆณ•ๆœ€ๅˆๆบ่‡ชไบŽStan Ulamๅฏน
็บธ็‰Œๆธธๆˆ็š„ๆ€่€ƒ๏ผŒไป–่ฏ•ๅ›พ่ฎก็ฎ—52ๅผ ๅก็‰Œ็š„็ป„ๅˆๅฏ่ƒฝ๏ผŒๅœจๅฐ่ฏ•็ฉทไธพๅคฑ่ดฅๅŽ๏ผŒไป–ๆ„่ฏ†
ๅˆฐ้œ€่ฆไธ€็ง้šๆœบๆ–นๆณ•ๅŽปๆฑ‚ๅ–่ฟ‘ไผผ่งฃ่€Œไธๆ˜ฏ่Šฑ่ดนๅคง้‡ๆ—ถ้—ดๆฑ‚ๅ–ไธ€ไธช็ฒพ็กฎ่งฃใ€‚้šๅŽ๏ผŒ
ไป–ๆ‰พๅˆฐๅ†ฏยท่ฏบไพๆ›ผ๏ผŒไธคไบบๅ…ฑๅŒๅฎŒๅ–„ไบ†่’™็‰นๅก็ฝ—ๆ–นๆณ•็š„ไธ€ไบ›็†่ฎบ๏ผŒๆฏ”ๅฆ‚้‡่ฆๆ€ง้‡‡ๆ ทๅ’Œ
่ˆๅผƒ้‡‡ๆ ทใ€‚็”ฑไบŽ่’™็‰นๅก็ฝ—ๆ–นๆณ•ๆ˜ฏไธ€ๆ•ดๅฅ—่งฃๅ†ณๆ–นๆกˆ๏ผŒ็ฎ—ๆณ•ไผ—ๅคš๏ผŒๅ…ถ็†่ฎบ่ดก็Œฎไธ่ƒฝไป…
ไป…ๅฝ’ๅŠŸไบŽ่ฟ™ไธคไบบ๏ผŒ่ฟ˜ๅบ”ๅŒ…ๆ‹ฌๆๅ‡บMH็ฎ—ๆณ•็š„Metroplisๅ’ŒHastingใ€ๅฐ†่’™็‰นๅก็ฝ—ๆ–นๆณ•ๅบ”
็”จๅˆฐไธญๅญๆ‰ฉๆ•ฃ้—ฎ้ข˜็š„Fermi็ญ‰
[27]
ใ€‚20ไธ–็บช80ๅนดไปฃ๏ผŒ่’™็‰นๅก็ฝ—ๆ–นๆณ•่ขซๅผ•ๅ…ฅๆœบๅ™จ่ง†่ง‰ไธŽ
ไบบๅทฅๆ™บ่ƒฝ้ข†ๅŸŸ๏ผŒๅŒๆ—ถ๏ผŒๅœจๆญคไน‹ไธŠๅŠ ๅ…ฅ้ฉฌๅฐ”ๅฏๅคซ้“พๅฝขๆˆไธ€ๅฅ—ๆ–ฐ็š„็†่ฎบไฝ“็ณปใ€‚่ฟ™ๅฅ—็†
่ฎบๅธธ็”จไบŽ่ดๅถๆ–ฏๆŽจๆ–ญ็š„ๅฝ’ไธ€ๅŒ–ใ€่พน็ผ˜ๅŒ–ไธŽๆœŸๆœ›้—ฎ้ข˜๏ผŒๆฆ‚็Ž‡่ฎบ็š„้…ๅˆ†ๅ‡ฝๆ•ฐ้—ฎ้ข˜๏ผŒๆœ€
ไผ˜ๅŒ–้—ฎ้ข˜ไปฅๅŠๆœบๅ™จๅญฆไน ไธญ็š„ๆจกๅž‹้€‰ๆ‹ฉ้—ฎ้ข˜ใ€‚
4.1 ่’™ๅก”ๅก็ฝ—ๆ–นๆณ•ๆ ธๅฟƒๆ€ๆƒณ
่’™็‰นๅก็ฝ—ๆ–นๆณ•็š„ไธ€ไธชๅบ”็”จๆ˜ฏ่ฎก็ฎ—ไธ€ไธชๅˆ†ๅธƒไธ‹ๆŸไธชๅ‡ฝๆ•ฐ็š„ๆœŸๆœ›๏ผŒ็Žฐๅœจๅ‡่ฎพๆˆ‘ไปฌ
่ฆ่ฎก็ฎ—ไธ€ไธช็งฏๅˆ†
I
f
=
๎š
+โˆž
โˆ’โˆž
(2x
2
+ x + 1)
1
โˆš
2ฯ€
exp
๎€
โˆ’
1
2
x
2
๎€‘
dx (4-1)
ไธบไบ†็ฎ€ๅŒ–๏ผŒๆˆ‘ไปฌ่ฎฐ
f (x) = 2x
2
+ x + 1 (4-2)
p(x) =
1
โˆš
2ฯ€
exp
๎€
โˆ’
1
2
x
2
๎€‘
(4-3)
้‚ฃไนˆ๏ผŒๅผ(4-1)ๅฏไปฅ็ฎ€ๅ†™ไธบ
I
f
=
๎š
+โˆž
โˆ’โˆž
f (x) ยท p(x)dx (4-4)
็”ฑไบŽp(x)ๆฐๅฅฝๆ˜ฏไธ€ไธชๆ ‡ๅ‡†้ซ˜ๆ–ฏๅˆ†ๅธƒ๏ผŒๅ€˜่‹ฅๆˆ‘ไปฌ่ƒฝไปŽp(x)ไธญ้‡‡ๆ ทๅพ—ๅˆฐNไธช็‹ฌ็ซ‹ๅŒ
ๅˆ†ๅธƒ๏ผˆi.i.d๏ผ‰ๆ ทๆœฌ{x
i
}
N
i=1
๏ผŒๅˆ™็งฏๅˆ†I
f
ๅฏไปฅ่ฟ‘ไผผไธบ
[27]
I
f
โ‰ˆ
ห†
I
f
=
1
N
N
๎˜
i=1
f (x
i
) (4-5)
ๆญคๆ—ถ๏ผŒ่‹ฅN โ†’ โˆž๏ผŒๆ นๆฎๅคงๆ•ฐๅฎšๅพ‹๏ผŒๅฏ็Ÿฅ
- 20 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
I
f
= lim
Nโ†’โˆž
ห†
I
f
= lim
Nโ†’โˆž
1
N
N
๎˜
i=1
f (x
i
) (4-6)
ๅ€˜่‹ฅไปŽๆ•ฐๅญฆๆœŸๆœ›็š„่ง’ๅบฆไธŠๆฅ่งฃ้‡ŠไธŠ้ข็š„้—ฎ้ข˜๏ผŒ้‚ฃไนˆ็งฏๅˆ†(4-1)ๅฏไปฅ็†่งฃไธบ๏ผšๆˆ‘
ไปฌ็Žฐๅœจๆœ‰ไธ€ไธชๅ‡ฝๆ•ฐ f (x ) = 2x
2
+ x + 1๏ผŒๅ…ถ่‡ชๅ˜้‡x ็ฌฆๅˆๆ ‡ๅ‡†้ซ˜ๆ–ฏๅˆ†ๅธƒ๏ผŒๅณx โˆผ N(0, 1)๏ผŒ
้‚ฃไนˆไธบไบ†่ฎก็ฎ— f (x)ๅœจๅˆ†ๅธƒN(0, 1)ไธ‹็š„ๆ•ฐๅญฆๆœŸๆœ›๏ผŒๆˆ‘ไปฌๅฏไปฅๅœจๅˆ†ๅธƒN(0, 1)ไธญ้‡‡ๆ ท
ๅ‡บNไธช็‹ฌ็ซ‹็š„ๆ ทๆœฌ{x
i
}
N
i=1
๏ผŒๅฐ†่ฟ™ไบ›ๆ ทๆœฌไปฃๅ…ฅ f (x)๏ผŒๅพ—ๅˆฐNไธชๅ‡ฝๆ•ฐๅ€ผ{f (x
i
)}
N
i=1
๏ผŒๅฏน่ฟ™ไบ›
ๅ‡ฝๆ•ฐๅ€ผๆฑ‚ๅ’Œๅ–ๅนณๅ‡ๅŽๅพ—ๅˆฐ็š„็ป“ๆžœๅณไธบๆœŸๆœ›I
f
็š„่ฟ‘ไผผๅ€ผ
ห†
I
f
ใ€‚ๆ˜พ็„ถ๏ผŒๅ…ถ่ฟ‘ไผผ็จ‹ๅบฆไธŽNๆœ‰
ๅ…ณ๏ผŒN่ถŠๅคง๏ผŒ้‡‡ๆ ท็š„ๆ ทๆœฌ่ถŠๅคš๏ผŒ่ฟ‘ไผผ็š„็จ‹ๅบฆไนŸไพฟ่ถŠ้ซ˜ใ€‚
ไฝ†็งฏๅˆ†(4-1)ๆœชๅ…่ฟ‡ไบŽ็‰นๆฎŠ๏ผŒ้ฆ–ๅ…ˆ๏ผŒp(x)ๆ˜ฏไธ€ไธชๆ ‡ๅ‡†้ซ˜ๆ–ฏๅˆ†ๅธƒ๏ผŒ่ฟ™ไฝฟๅพ—ๆˆ‘ไปฌๅฏ
ไปฅๅˆฉ็”จไธ€ไบ›ๅพˆๆˆ็†Ÿ็š„ๆ–นๆณ•ๆฅไปŽN(0, 1)ไธญ้‡‡ๆ ทๅ‡บNไธชๆ ทๆœฌ๏ผŒไฝ†ๅฆ‚ๆžœp(x)ไธๆ˜ฏไธ€ไธช้ซ˜ๆ–ฏ
ๅˆ†ๅธƒ๏ผŒไนŸไธๆ˜ฏไธ€ไธชๅ‡ๅŒ€ๅˆ†ๅธƒใ€ไผฝ้ฉฌๅˆ†ๅธƒ็ญ‰ไธ€ไบ›ๆˆ‘ไปฌๅธธ่ง็š„ๆฆ‚็Ž‡ๅˆ†ๅธƒ๏ผŒๅฎƒๅชๆ˜ฏไธ€ไธช
ๆ™ฎ้€šๅพ—ไธ่ƒฝๅ†ๆ™ฎ้€š็š„ๅˆ†ๅธƒ๏ผŒๆญคๆ—ถๅˆ่ฏฅๅฆ‚ไฝ•่งฃๅ†ณ๏ผŸ ๅ…ถๆฌก๏ผŒ็งฏๅˆ†(4-1)ๅชๆ˜ฏไธ€็ปดๅฝขๅผ๏ผŒ
่€Œๅฎž้™…็”Ÿๆดปไธญ็š„ๆฆ‚็Ž‡ๅˆ†ๅธƒๅพ€ๅพ€ๆ˜ฏ้ซ˜็ปด็š„๏ผŒ้‚ฃไนˆ้ซ˜็ปดๆƒ…ๅ†ตๅˆ่ฏฅๅฆ‚ไฝ•ๆŽจๅนฟ๏ผŸ ๆŽฅไธ‹ๆฅ็š„
ๅ‡ ไธชๅฐ่Š‚ๆˆ‘ไปฌๅฐ†่‡ดๅŠ›ไบŽ่งฃๅ†ณไปฅไธŠๅ‡ ไธช้—ฎ้ข˜ใ€‚
4.2 ่ˆๅผƒ้‡‡ๆ ท
ๆˆ‘ไปฌๅ…ˆๆฅ่งฃๅ†ณไน‹ๅ‰ๆๅˆฐ็š„็ฌฌไธ€ไธช้—ฎ้ข˜๏ผŒๅฆ‚ๆžœ่ฏดp(x) ไธๆ˜ฏไธ€ไธชๅธธ่ง็š„ๆฆ‚็Ž‡ๅˆ†ๅธƒ
ๅบ”่ฏฅๅฆ‚ไฝ•่งฃๅ†ณ๏ผŸ ไพ‹ๅฆ‚
p(x) = 0.3
1
โˆš
2ฯ€
exp
๎€
โˆ’
(x โˆ’ 2)
2
2
๎€‘
+ 0.7
1
โˆš
2ฯ€
exp
๎€
โˆ’
(x + 2)
2
2
๎€‘
(4-7)
ๅฝ“ f (x)ไพ็„ถ่ฎพๅฎšไธบ(4-2)ๆ—ถ๏ผŒๆฆ‚็Ž‡ๅฏ†ๅบฆๆ›ฒ็บฟp(x )ไปฅๅŠๅ‡ฝๆ•ฐ f (x) ยท p(x)็š„ๅ›พๅƒๅฆ‚ๅ›พ4-1 ๆ‰€
็คบ
ๅ›พ 4-1 ๅฎž้™…ๅˆ†ๅธƒp(x)ไธŽ f (x) ยท p(x)็š„ๅ‡ฝๆ•ฐๅ›พๅƒ
- 21 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ๆญคๆ—ถ๏ผŒ็”ฑไบŽp(x)ๅนถไธๆ˜ฏไธ€ไธชๅธธ่ง็š„ๆฆ‚็Ž‡ๅˆ†ๅธƒ๏ผŒ่€Œๆˆ‘ไปฌๆ‰€ๆ‹ฅๆœ‰็š„ไธ€ไบ›็ฎ€ๅ•็š„้‡‡
ๆ ทๆ–นๆกˆๅŸบๆœฌ้ƒฝๆ˜ฏ้’ˆๅฏนไบŽๆŸไธ€็ฑป็‰นๅฎš็š„ๅˆ†ๅธƒ่€Œๆๅ‡บ็š„๏ผŒๅŸบไบŽ่ฟ™ไธชๅŽŸๅ› ๏ผŒ่ฟ™้‡Œ่ฆๆƒณ
ๅœจp(x)ไธญ้‡‡ๆ ทๅ‡บNไธชๆ ทๆœฌๅนถไธๆ˜ฏไธ€ไปถ็ฎ€ๅ•็š„ๅทฅไฝœใ€‚ไธบๆญค๏ผŒๆˆ‘ไปฌๅผ•ๅ…ฅ่ˆๅผƒ้‡‡ๆ ทๆฅ่งฃๅ†ณ
ๅœจไปปๆ„ๅˆ†ๅธƒไธŠ้‡‡ๆ ท็š„้—ฎ้ข˜ใ€‚
่ˆๅผƒ้‡‡ๆ ทๅŸบไบŽ่ฟ™ๆ ทไธ€ไธชๆ€ๆƒณ๏ผš ๆ—ข็„ถๆˆ‘ไปฌๆ— ๆณ•ไปŽไธ€ไธช้šๆ„็š„ๅˆ†ๅธƒp(x)ไธŠ้‡‡ๆ ท๏ผŒ
ไฝ†ๆ˜ฏๅฏไปฅๅœจไธ€ไธช็‰นๆฎŠ็š„ๅˆ†ๅธƒq(x)ไธŠ้‡‡ๆ ท๏ผŒๆฏ”ๅฆ‚ไปŽ้ซ˜ๆ–ฏๅˆ†ๅธƒไธญ้‡‡ๆ ท๏ผŒ้‚ฃไนˆๆˆ‘ไปฌไธบไฝ•
ไธ็”จq(x)ๆฅ้€ผ่ฟ‘p(x )ๅ‘ข๏ผŸ ไธบๆญค๏ผŒๆˆ‘ไปฌๅผ•ๅ…ฅไธ€ไธชๅˆ†ๅธƒq(x)๏ผŒ็งฐไน‹ไธบๆ่ฎฎๅˆ†ๅธƒ๏ผŒ่ฟ™ไธชๅˆ†
ๅธƒ้œ€่ฆๆปก่ถณไปฅไธ‹ๆกไปถ
[27]
p(x) < Mq(x), M < โˆž (4-8)
ๅผไธญ๏ผŒMๆ˜ฏไธ€ไธชๅฎšๅธธๆ•ฐ๏ผŒไธŠ่ฟฐ็บฆๆŸๆกไปถ็›ธๅฝ“ไบŽ๏ผŒๆ่ฎฎๅˆ†ๅธƒq(x)ไธŽๅฎž้™…ๅˆ†ๅธƒp(x)็š„
ๆฏ”ๅ€ผp(x)/q(x)้œ€่ฆๅœจๅ˜้‡x็š„็ฉบ้—ดXไธญๅญ˜ๅœจไธ‹็•ŒMใ€‚ไปŽๅ›พๅƒ็š„่ง’ๅบฆ็œ‹๏ผŒๆ่ฎฎๅˆ†ๅธƒๆ‰ฉ
ๅคงMๅ€ๅŽ๏ผŒๅบ”่ฏฅโ€œ่ฆ†็›–โ€๏ผŒๆˆ–่€…่ฏดโ€œๅŒ…็€โ€ๅฎž้™…ๅˆ†ๅธƒp(x)๏ผŒไพ‹ๅฆ‚๏ผŒๅฏนไบŽๅผ(4-7)็š„ๅˆ†
ๅธƒp(x)๏ผŒๅฝ“M = 2.3ไธ”ๆ่ฎฎๅˆ†ๅธƒq(x)ไธบ
q(x) =
1
3
โˆš
2ฯ€
exp
๎€
โˆ’
(x + 1.3)
2
2 ร— 3
2
๎€‘
(4-9)
ๅณq(x ) โˆผ N(โˆ’1.3, 3)ๆ—ถ๏ผŒๅฎž้™…ๅˆ†ๅธƒp(x)ไธŽๆ่ฎฎๅˆ†ๅธƒq(x)็š„ๅ›พๅƒๅฆ‚ๅ›พ4.2 ๆ‰€็คบ
ๅ›พ 4-2 ๅฎž้™…ๅˆ†ๅธƒp(x)ไธŽๆ่ฎฎๅˆ†ๅธƒq(x)็š„ๅ‡ฝๆ•ฐๅ›พๅƒ
็”ฑไบŽๆ่ฎฎๅˆ†ๅธƒๆ˜ฏไธ€ไธชๅธธ่ง„็š„้ซ˜ๆ–ฏๅˆ†ๅธƒ๏ผŒๆˆ‘ไปฌๆœ‰ไธ€็ณปๅˆ—็š„ๆˆ็†Ÿๆ–นๆณ•ๅฏไปฅๅœจๅ…ถไน‹
ไธŠ้‡‡ๆ ทๅ‡บๅคšไธชๆ ทๆœฌใ€‚ๅ‡่ฎพๆˆ‘ไปฌ้‡‡ๆ ทๅพ—ๅˆฐไธ€ไธชๆ ทๆœฌๅŽ๏ผŒๆˆ‘ไปฌๆœ‰ไธค็ง้€‰ๆ‹ฉ๏ผš่ฆไนˆๆŽฅๅ—
่ฟ™ไธชๆ ทๆœฌ๏ผŒๅนถๅฐ†่ฟ™ไธชๆ ทๆœฌ็œ‹ๅšๆ˜ฏไปŽp(x)ไธŠ้‡‡ๆ ทๅพ—ๅˆฐ็š„๏ผŒ่ฆไนˆ่ˆๅผƒ่ฟ™ไธชๆ ทๆœฌ๏ผŒ่ฎคไธบ
่ฟ™ไธชๆ ทๆœฌไธŽp(x)้‡‡ๆ ท็š„ๆ ทๆœฌๅทฎ่ทๅคชๅคง๏ผŒไธ่ƒฝ็œ‹ๅšๆ˜ฏp(x)็š„้‡‡ๆ ทๆ ทๆœฌใ€‚
็„ถ่€Œ๏ผŒๆˆ‘ไปฌไป€ไนˆๆ—ถๅ€™ๅบ”่ฏฅๆŽฅๅ—q(x)็š„ๆ ทๆœฌไฝœไธบp(x)็š„ๆ ทๆœฌ๏ผŒไป€ไนˆๆ—ถๅ€™ๅˆๅบ”่ฏฅๆ‹’
็ปๅ‘ข๏ผŸ ไธบไบ†ๅˆป็”ป่ฟ™ไธชไบ‹ไปถ๏ผŒๆˆ‘ไปฌๅผ•ๅ…ฅไบ†ๆŽฅๅ—ๆฆ‚็Ž‡็š„ๆฆ‚ๅฟตใ€‚ๅ‡ๅฎšๆˆ‘ไปฌ็ŽฐๅœจๅทฒไปŽq(x)ไธญ
้‡‡ๆ ทๅพ—ๅˆฐไธ€ไธชๆ ทๆœฌx
(i)
๏ผŒๅˆ™ๅ…ถๆŽฅๅ—ๆฆ‚็Ž‡Aๆˆ‘ไปฌๅฎšไน‰ไธบ
[16]
- 22 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
A =
p(x
(i)
)
M ยท q (x
(i)
)
(4-10)
่ฎก็ฎ—ๅพ—ๅˆฐๆŽฅๅ—ๆฆ‚็Ž‡ๅŽ๏ผŒๆˆ‘ไปฌไปฅAไฝœไธบๆŽฅๅ—ๆ ทๆœฌ็š„ๆฆ‚็Ž‡๏ผŒไฝ†ๅœจ่ฎก็ฎ—ๆœบไธญ๏ผŒๆฒกๆœ‰ไธ€
็งๆ–นๆณ•็›ดๆŽฅๅœฐๆ่ฟฐโ€œไปฅๆฆ‚็Ž‡AๆŽฅๅ—ๆ ทๆœฌโ€่ฟ™ไธช่กŒไธบ๏ผŒไธบไบ†ไปฟ็œŸ่ฟ™ไธช่กŒไธบ๏ผŒๆˆ‘ไปฌๅฏ
ไปฅๅœจๅŒบ้—ดไธบ[0, 1]็š„ๅ‡ๅŒ€ๅˆ†ๅธƒU(0, 1)ไธŠ้šๆœบ็”Ÿๆˆไธ€ไธชๆ•ฐu๏ผŒ่‹ฅu < Aๅˆ™ๆŽฅๅ—ๆ ทๆœฌ๏ผŒๅฆ
ๅˆ™ๆ‹’็ปใ€‚้€š่ฟ‡่ฟ™ๆ ท็š„ๆ–นๅผ๏ผŒๆˆ‘ไปฌไพฟๅฏไปฅๆจกๆ‹Ÿโ€œไปฅAไธบๆฆ‚็Ž‡ๆŽฅๅ—ๆ ทๆœฌโ€ใ€‚ๆˆ‘ไปฌๅพˆๅฎนๆ˜“
ๅฐ†ไธ€ไธชๆ ทๆœฌๆŽจๅนฟๅˆฐNไธชๆ ทๆœฌ็š„ๆƒ…ๅ†ต๏ผŒๅ…ถๅ…ทไฝ“ๆ่ฟฐๅฆ‚็ฎ—ๆณ•4-1ๆ‰€็คบใ€‚
Input: ็œŸๅฎžๅˆ†ๅธƒp(x)๏ผ›ๆ่ฎฎๅˆ†ๅธƒq(x)๏ผ›้‡‡ๆ ท้‡N
Output: Nไธช้‡‡ๆ ทๆ ทๆœฌ{x
(i)
}
N
i=1
1 i = 1;
2 repeat
3 ้‡‡ๆ ทx
(i)
โˆผ q(x)๏ผŒ่Žทๅ–้šๆœบๆ•ฐu โˆผ U(0, 1)๏ผŒA =
p(x
(i)
)
Mยทq(x
(i)
)
๏ผ›
4 if u < A then
5 ๆŽฅๅ—ๆ ทๆœฌx
(i)
ไฝœไธบp(x)็š„ๆ ทๆœฌ๏ผŒi+ = 1๏ผ›
6 end
7 else
8 ่ˆๅผƒๆ ทๆœฌx
(i)
๏ผŒiไฟๆŒไธๅ˜๏ผ›
9 end
10 until i = N;
็ฎ—ๆณ• 4-1 ่ˆๅผƒ้‡‡ๆ ท็ฎ—ๆณ•
ๅฏน ไบŽ ๆŽฅ ๅ— ๆฆ‚ ็Ž‡ ๅ…ถ ๅฎš ไน‰๏ผŒ ไธ€ ็ง ่พƒ ไธบ ็›ด ่ง‚ ็š„ ็† ่งฃ ๆ˜ฏ๏ผš ๆŽฅ ๅ— ๆฆ‚ ็Ž‡A(x
(i)
)ๅˆป ็”ป
ไบ†p(x
(i)
)ไธŽMq(x
(i)
)็š„็›ธไผผ็จ‹ๅบฆใ€‚ๅฆ‚ๅ›พ4.2ไธญ็š„Aใ€Bใ€Cไธ‰็‚น๏ผŒๅ‡่ฎพๆˆ‘ไปฌๅฏไปฅๅˆ†ๅˆซ
ไปŽไธคไธชๅˆ†ๅธƒไธญ้‡‡ๆ ทๅพ—ๅˆฐๅคšไธชๆ ทๆœฌ๏ผŒๅฏนไบŽq(x)่€Œ่จ€๏ผŒ้‡‡ๆ ทๆ ทๆœฌๅ‡บ็ŽฐๅœจA็‚น้™„่ฟ‘็š„ๆฆ‚
็Ž‡ๆœ€ๅคง๏ผŒๅ…ถๆฌกๆ˜ฏB็‚น้™„่ฟ‘๏ผŒๅ†ๆฌกๆ˜ฏC็‚น้™„่ฟ‘ใ€‚็„ถ่€Œ๏ผŒๅฏนไบŽp(x)่€Œ่จ€๏ผŒ้‡‡ๆ ทๆ ทๆœฌๅ‡บ็Žฐ
ๅœจB็‚น้™„่ฟ‘็š„ๆฆ‚็Ž‡่ฆๆฏ”ๅ‡บ็ŽฐๅœจC็‚น้™„่ฟ‘็š„ๆฆ‚็Ž‡่ฆๅฐ๏ผŒๅ› ๆญค๏ผŒๆŠŠไปŽq(x)ไธญ้‡‡ๆ ทๅพ—ๅˆฐ็š„
ๆ ทๆœฌ็›ดๆŽฅไฝœไธบp(x)็š„้‡‡ๆ ทๆ ทๆœฌๆ˜ฏไธๅˆ้€‚็š„ใ€‚ไฝ†็”ฑไบŽ
p(x
B้™„่ฟ‘
)
M ยท q(x
B้™„่ฟ‘
)
<
p(x
C้™„่ฟ‘
)
M ยท q (x
C้™„่ฟ‘
)
(4-11)
B็‚น่พƒๅฐ็š„ๆŽฅๅ—ๆฆ‚็Ž‡ไฝฟๅพ—ๆˆ‘ไปฌ่ˆๅผƒไบ†q(x)้‡‡ๆ ทๆ ทๆœฌไธญB็‚น้™„่ฟ‘ๅคง้‡็š„ๆ ทๆœฌ๏ผŒC็‚น่พƒ
ๅคง็š„ๆŽฅๅ—ๆฆ‚็Ž‡ไฝฟๅพ—ๆˆ‘ไปฌไฟ็•™ไบ†q(x)้‡‡ๆ ทๆ ทๆœฌไธญC็‚น้™„่ฟ‘็š„ๅคง้‡ๆ ทๆœฌ๏ผŒ็ป่ฟ‡่ˆๅผƒ้˜ถๆฎต
ๅŽ๏ผŒๆˆ‘ไปฌไพฟๅฏไปฅไปŽq(x)็š„้‡‡ๆ ทๆ ทๆœฌไธญ็ญ›้€‰ๅ‡บๅฏไปฅๅˆป็”ปp(x)ๆ€ง่ดจ็š„ๆ ทๆœฌ๏ผŒๅ› ๆญค๏ผŒ่ˆๅผƒ
ๆ“ไฝœๅฏไปฅ็œ‹ๅšๆ˜ฏๅฏนๆ ทๆœฌ็š„็บ ๆญฃใ€‚
- 23 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ๅœจq(x)ๅฎšไน‰ไธบๅผ(4-9)๏ผŒp(x)ๅฎšไน‰ไธบๅผ(4-7)ไธ”M = 2.3็š„ๆƒ…ๅ†ตไธ‹๏ผŒๅ›พ4-3 a)ไธบq(x)ๅŠ
้‡‡ๆ ทๆ ทๆœฌ็š„ๆฆ‚็Ž‡ๅˆ†ๅธƒ็›ดๆ–นๅ›พ๏ผŒๅฐ†่ฟ™ไบ›ๆ ทๆœฌ็ป่ฟ‡่ˆๅผƒๅŽ๏ผŒๅ…ถๅˆ†ๅธƒ็›ดๆ–นๅ›พๅฆ‚ๅ›พ4-3 b)ๆ‰€
็คบใ€‚ไธ้šพ็œ‹ๅ‡บ๏ผŒๅฐฝ็ฎกๆ ทๆœฌๆ˜ฏไปŽๆ่ฎฎๅˆ†ๅธƒq(x)ไธญ้‡‡ๆ ทๅพ—ๅˆฐ็š„๏ผŒไฝ†่ˆๅผƒ้‡‡ๆ ทๆ–นๆณ•ๅฏไปฅ
ๅพˆๅฅฝๅœฐ้€ผ่ฟ‘ๅŽŸๅง‹ๅˆ†ๅธƒ๏ผŒๅ› ๆญคๆˆ‘ไปฌๅฏไปฅ็”จ็ญ›้€‰ๅŽ็š„ๆ ทๆœฌ้—ดๆŽฅๅœฐไฝœไธบp(x)็š„้‡‡ๆ ทๆ ทๆœฌ
่€Œไธๅ†้œ€่ฆไปŽp(x)ไธญ็›ดๆŽฅ้‡‡ๆ ทใ€‚
a) q(x)ไธŽๆ ทๆœฌๅˆ†ๅธƒ็›ดๆ–นๅ›พ b) p(x)ไธŽ็ญ›้€‰ๅŽ็š„ๆ ทๆœฌๅˆ†ๅธƒ็›ดๆ–นๅ›พ
ๅ›พ 4-3 ่ˆๅผƒ้‡‡ๆ ท็š„้€ผ่ฟ‘ๆ•ˆๆžœ
ไบ‹ๅฎžไธŠ๏ผŒๅผ(4-7)ไพ็„ถ่ฟ‡ไบŽ็‰นๆฎŠ๏ผŒๅ…ถๆฆ‚็Ž‡ๅฏ†ๅบฆไธ่ฟ‡ๆ˜ฏไธคไธชไธ€็ปด้ซ˜ๆ–ฏๅˆ†ๅธƒ็š„็บฟๆ€ง
็ป„ๅˆ๏ผŒๅฆ‚ๆžœๆˆ‘ไปฌๅฐ†ๅ…ถๆ‰ฉๅฑ•ๅˆฐไบŒ็ปดๆƒ…ๅฝข๏ผŒไพ‹ๅฆ‚๏ผŒๅฝ“็œŸๅฎžๅˆ†ๅธƒp(x)ไธŽๆ่ฎฎๅˆ†ๅธƒq(x)ๅˆ†ๅˆซ
ๅฎšไน‰ไธบ
p(x) =0.2 ยท
1
2ฯ€
exp
๎€’
โˆ’
(x + 1)
2
+ (y + 1)
2
2
๎€“
+
0.1 ยท
1
2ฯ€
exp
๎€’
โˆ’
(x โˆ’ 3)
2
+ (y + 3)
2
2
๎€“
+
0.7 ยท
1
2ฯ€
exp
๎€’
โˆ’
(x โˆ’ 2)
2
+ y
2
2
๎€“
(4-12)
q(x) =
1
2 ร— 2
2
ยท ฯ€
exp
๎€’
โˆ’
(x โˆ’ 1.5)
2
+ y
2
2 ร— 2
2
๎€“
(4-13)
ๅœจM = 3ๆ—ถ๏ผŒ็œŸๅฎžๅˆ†ๅธƒไธŽๆ่ฎฎๅˆ†ๅธƒ็š„ๅ›พๅƒๅฆ‚ๅ›พ4-4 ๆ‰€็คบ
ไปฅไธŠไพ‹ๅญ้ƒฝ่ฟ‡ไบŽ็ฎ€ๅ•๏ผŒๅฎž้™…ไธญๆˆ‘ไปฌ้‡ๅˆฐ็š„ไธ€่ˆฌ้ƒฝๆ˜ฏ้ซ˜็ปด็š„ๆƒ…ๅฝข๏ผŒๆฆ‚็Ž‡ๅฏ†ๅบฆไนŸ
ๆ›ดไธบๅคๆ‚ใ€‚่ฟ™ๅฐ†ไผšๅฏผ่‡ดไธ€ไธช็ป“ๆžœ๏ผŒๆ่ฎฎๅˆ†ๅธƒq(x)ไธบไบ†โ€œๅŒ…่ฃนโ€็œŸๅฎžๅˆ†ๅธƒp(x)๏ผŒM้œ€
่ฆๅ–ไธ€ไธชๅพˆๅคง็š„ๅ€ผไฝฟๅพ—q(x)ๅฏไปฅ่ฆ†็›–ๆŽ‰ๆœ€ๅ‡ธๅ‡บ็š„็ปดๅบฆใ€‚ๆƒณ่ฑก่ฟ™ๆ ทไธ€็งๆž็ซฏ็š„ๆƒ…
ๅฝข๏ผŒๅœจไธ€ไธช้ซ˜็ปดๅบฆ็š„p(x)ไธญ๏ผŒๆœ‰ไธ€ไธช็ปดๅบฆๆ˜ฏ็ฑปไผผไบŽ่„‰ๅ†ฒ็š„ๅฐ–ๅณฐ๏ผŒๆญคๆ—ถM้œ€่ฆๅ–ๅพˆ
ๅคงๆ‰่ถณไปฅ่ฆ†็›–ๅฎƒ๏ผŒไฝ†ๅฏนไบŽๅ‰ฉไฝ™็š„็ปดๅบฆ่€Œ่จ€๏ผŒMๅฏ่ƒฝๅช้œ€่ฆไธ€ไธช่พƒๅฐ็š„ๅ€ผไพฟๅฏไปฅ
่ฆ†็›–ๆŽ‰ๅฎƒไปฌ๏ผŒไธบไบ†ไฝฟ็บฆๆŸp(x) < M ยท q(x)ๆ’ๆˆ็ซ‹๏ผŒM้œ€่ฆๅ–ๆœ€ๅคง็š„ๅ€ผ๏ผŒ่ฟ‡ๅคง็š„Mไฝฟ
ๅพ—ๆŽฅๅ—ๆฆ‚็Ž‡A = p(x)/Mq(x)่ฟ‡ๅฐ๏ผŒๅคง่ง„ๆจกๅœฐ่ˆๅผƒๆ ทๆœฌๅฐ†ไฝฟ้‡‡ๆ ท้€Ÿๅบฆๅ˜ๆ…ข็”š่‡ณๆ— ๆณ•
ๅ†ๅฏไปฅๆŽฅๅ—็š„ๆ—ถ้—ดๅ†…ๅฎŒๆˆ้‡‡ๆ ทใ€‚็ฉถๅ…ถๅŽŸๅ› ๏ผŒๅ…ถๆœ€ๆ นๆœฌ็š„ๅผŠ็ซฏๅœจไบŽq(x)ๅฟ…้กปๆปก่ถณ็บฆ
- 24 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
a) ๅ…จ่ง†ๅ›พ b) ๅ‰–่ง†ๅ›พ
ๅ›พ 4-4 ไบŒ็ปด็œŸๅฎžๅˆ†ๅธƒ๏ผˆๅฝฉ่‰ฒ๏ผ‰ไธŽๆ่ฎฎๅˆ†ๅธƒ๏ผˆ็ฐ่‰ฒ๏ผ‰
ๆŸp(x) < M ยท q(x)ใ€‚ไธบไบ†่งฃๅ†ณ่ฟ™ไธช้—ฎ้ข˜๏ผŒๆˆ‘ไปฌๅฐ†ๅผ•ๅ…ฅ้‡่ฆๆ€ง้‡‡ๆ ท๏ผŒ่ฟ™็งๆ–นๆณ•ๅฏไปฅไฝฟ
ๆˆ‘ไปฌไธๅ—็บฆๆŸๅœฐ้€‰ๅ–ไปปๆ„็š„q(x)ใ€‚
4.3 ้‡่ฆๆ€ง้‡‡ๆ ท
ๅ›ž้กพ็ซ ่Š‚4.1ไธญ็š„่ฎจ่ฎบ๏ผŒๆˆ‘ไปฌไธบไป€ไนˆ่ฆไฝฟ็”จ่ˆๅผƒ้‡‡ๆ ท๏ผŸ ๅ› ไธบ่’™็‰นๅก็ฝ—ๆ–นๆณ•ไธญ็งฏ
ๅˆ†ๅผ(4-4)ๅœจp(x)ไธๆ˜ฏๅธธ่ง„็š„ๅˆ†ๅธƒๅฝขๅผๆ—ถ้šพไปฅ้‡‡ๆ ท๏ผŒๅฏผ่‡ดๆˆ‘ไปฌๆ— ๆณ•ๅˆฉ็”จๅผ(4-5)ๆฅ่ฎก
็ฎ—็งฏๅˆ†ใ€‚่€Œ่ˆๅผƒ้‡‡ๆ ท้€š่ฟ‡ๆž„ๅปบไธ€ไธชๅฎนๆ˜“้‡‡ๆ ท็š„ๅˆ†ๅธƒq(x)๏ผŒๅฏนๅ…ถ้‡‡ๆ ทๆ ทๆœฌ็ญ›้€‰ๅŽไฝœ
ไธบp(x)็š„ๆ ทๆœฌ๏ผŒๅผ(4-5)ไปŽ่€Œๅพ—ไปฅ่ฟ›่กŒไธ‹ๅŽปใ€‚
ๅผ(4-5)ไน‹ๆ‰€ไปฅ่ƒฝๆˆ็ซ‹๏ผŒๆ˜ฏๅ› ไธบๆˆ‘ไปฌๅˆฉ็”จไบ†็‚น่ดจ้‡ๅ‡ฝๆ•ฐๆฅ้€ผ่ฟ‘ๆฆ‚็Ž‡ๅฏ†ๅบฆ๏ผŒๅณ
[27]
p
N
(x) =
1
N
N
๎˜
i=1
ฮด
x
(i)
(x) (4-14)
ๅผไธญ๏ผŒฮด
x
(i)
(x)ไธบx
(i)
ๅค„็š„่„‰ๅ†ฒๅ‡ฝๆ•ฐใ€‚ไธ‹้ขๆˆ‘ไปฌๅฐ†็ฎ€ๅ•่ฏๆ˜Žๅผ(4-14)็š„ๆญฃ็กฎๆ€ง
1
ไธบไบ†ๅพ—ๅˆฐๆฆ‚็Ž‡ๅฏ†ๅบฆp(x)๏ผŒๆˆ‘ไปฌๅฏไปฅๅœจx้™„่ฟ‘ไปฅxไธบไธญๅฟƒๅปบ็ซ‹ไธ€ไธชๅฐๅŒบๅŸŸA๏ผŒๅ…ถๅฏน
ๅบ”็š„ไฝ“็งฏไธบV
A
๏ผŒๆญคๆ—ถๆˆ‘ไปฌไปŽp(x)ไธญ้šๆœบ้‡‡ๆ ทNไธชๆ ทๆœฌx
1
, x
2
, x
N
๏ผŒ้‚ฃไนˆ่ฟ™ไบ›ๆ ทๆœฌไธญ่ฝ
ๅ…ฅๅŒบๅŸŸAไธญ็š„ๆฆ‚็Ž‡ไธบ
P(x โˆˆ A) โ‰ˆ
1
N
N
๎˜
i=1
1(x
i
) (4-15)
ๅผไธญ๏ผŒ1(x
i
)ไธบ็คบๆ€งๅ‡ฝๆ•ฐ๏ผŒๅ…ถๅฎšไน‰ไธบ
1(x)
๏ฃฑ
๏ฃด
๏ฃด
๏ฃด
๏ฃฒ
๏ฃด
๏ฃด
๏ฃด
๏ฃณ
0, x โˆˆ A
1, x ๎€ผ A
(4-16)
1
ๆ„Ÿ่ฐขๅˆ˜ๅฎถ้”‹่€ๅธˆ็š„ๆŒ‡็‚น
- 25 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ๅฎž้™…ไธŠ๏ผŒๅผ(4-15)็š„ไฝœ็”จ็ฑปไผผไบŽ็ช—ๅ‡ฝๆ•ฐ็š„ไฝœ็”จ๏ผŒๅณๆ นๆฎ็ฆปๆ•ฃๆ ทๆœฌไผฐ่ฎก็‚นๅฏ†ๅบฆ๏ผŒ
ไฝ†ๅŒๆ—ถ๏ผŒๆ นๆฎ่ฟž็ปญๆ€งๆˆ‘ไปฌไนŸๅฏไปฅๅพ—ๅˆฐ็‚นx็š„ๆฆ‚็Ž‡ๅฏ†ๅบฆ๏ผŒๅณ
P(x โˆˆ A) =
๎š
A
p(x)dx (4-17)
ๅฝ“ ๅŒบๅŸŸAไธบ ๆ—  ็ฉทๅฐ ๅŒบ ๅŸŸ ๆ—ถ๏ผŒๅณV
A
โ†’ 0๏ผŒๅŒบ ๅŸŸAๅ†… ็š„ ๆฏ ไธ€็‚น ๆฆ‚ ็Ž‡ ๅฏ†ๅบฆ ็›ธ ็ญ‰๏ผŒๆญค
ๆ—ถp(x)ๆ˜ฏๅธธๆ•ฐ๏ผŒๅ› ๆญคๆœ‰
P(x โˆˆ A) =
๎š
A
p(x)dx = p(x)
๎š
A
dx = p(x)V
A
(4-18)
่”ๅˆๅผ(4-15)ไธŽๅผ(4-18)๏ผŒๆœ‰
p(x)V
A
โ‰ˆ
1
N
N
๎˜
i=1
1(x
i
) (4-19)
ๅˆ™
p(x) โ‰ˆ
1
V
A
1
N
N
๎˜
i=1
1(x
i
) โ‰ˆ
1
N
N
๎˜
i=1
1(x
i
)
V
A
โ‰ˆ
1
N
N
๎˜
i=1
ฮด(x
i
)
(4-20)
ๅ› ๆญคๅผ(4-14)ๆˆ็ซ‹๏ผŒ่ฏๆ˜ŽๅฎŒๆฏ•ใ€‚
ๅ€˜่‹ฅๆˆ‘ไปฌไธ้‡‡็”จ่ฟ™็ง้€ผ่ฟ‘ๆ–นๅผ๏ผŒ่€Œ้‡‡็”จๅฆๅค–ไธ€็ง๏ผŒๅœจไป‹็ป่ฟ™็งๆ–นๅผไน‹ๅ‰๏ผŒๆˆ‘
ไปฌๅ…ˆๅผ•ๅ…ฅๆ‰€่ฐ“็š„้‡่ฆๆ€งๆƒๅ€ผw(x)๏ผŒๅณ
w(x) =
p(x)
q(x)
(4-21)
ๅผไธญ๏ผŒq(x)ไธบไปปๆ„ไธ€ไธชๅˆ†ๅธƒใ€‚ๆญคๆ—ถ๏ผŒๆ–ฐ็š„้€ผ่ฟ‘ๆ–นๅผๅฏไปฅ้™ˆ่ฟฐไธบ
[27]
ห†p
N
(x ) =
N
๎˜
i=1
w(x
(i)
)ฮด
x
(i)
(x ) (4-22)
ๅฏนๆฏ”ๅผ(4-14)๏ผŒๆˆ‘ไปฌๅฏไปฅ็†่งฃไธบp
N
(x )ไธญ็š„1/N็›ธๅฝ“ไบŽ้‡่ฆๆ€งๆƒๅ€ผๆ’ไธบ1/Nใ€‚ๅผ•ๅ…ฅ้‡
่ฆๆ€งๆƒๅ€ผๅŽ๏ผŒ็งฏๅˆ†ๅผ(4-4)ๅฏไปฅๆ”นๅ†™ไธบ
I
f
=
๎š
+โˆž
โˆ’โˆž
f (x)w(x)q(x)dx (4-23)
ๅฏนๅบ”็š„๏ผŒๅผ(4-5)ๆ”นๅ†™ไธบ
ห†
I
f
โ‰ˆ
N
๎˜
i=1
f (x
(i)
)w(x
(i)
) (4-24)
ๅฆ‚ๆžœไปŽๅฆไธ€ไธช่ง’ๅบฆๆ€่€ƒ๏ผŒไปฅไธŠ่ฎจ่ฎบ็›ธๅฝ“ไบŽ๏ผŒๆˆ‘ไปฌ็Žฐๅœจๆœ‰ไธ€ไธช็›ฎๆ ‡ๅ‡ฝๆ•ฐ f (x)ๅŠ
ๆฆ‚็Ž‡ๅˆ†ๅธƒp(x)๏ผŒ่ฆ่ฎก็ฎ— f (x)ๅœจๅˆ†ๅธƒp(x)ไธ‹็š„ๆœŸๆœ›๏ผŒ็”ฑไบŽp(x)ไธๆ˜ฏไธ€ไธชๅธธ่ง็š„ๅˆ†ๅธƒๅฝข
ๅผ๏ผŒๅฏผ่‡ด้šพไปฅๅˆฉ็”จๅผ(4-5)่ฎก็ฎ—็งฏๅˆ†๏ผŒ้‚ฃไนˆๆˆ‘ไปฌๆž„ๅปบไธ€ไธชๅธธ่ง็š„ๅˆ†ๅธƒๅฝขๅผq(x)๏ผŒๅฐ†
็›ฎๆ ‡ๅ‡ฝๆ•ฐๆ”นๅ†™ไธบ
- 26 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ห†
f (x) =
f (x)p(x)
q(x)
= f (x)w(x) (4-25)
ๅˆ™็งฏๅˆ†ๅผ(4-4)ๅ˜ไธบ
ห†
I
f
=
๎š
+โˆž
โˆ’โˆž
ห†
f (x)q(x)dx (4-26)
ๆญคๆ—ถๆˆ‘ไปฌๅˆๅฏไปฅไฝฟ็”จ็ฑปไผผไบŽๅผ(4-5)็š„ๆ–นๅผๆฅ่ฎก็ฎ—็งฏๅˆ†ไบ†ใ€‚
ๅฏนๆฏ”ไธŽไน‹ๅ‰่ฎจ่ฎบ็š„่ˆๅผƒ้‡‡ๆ ท่€Œ่จ€๏ผŒ้‡่ฆๆ€ง้‡‡ๆ ท็š„ไผ˜็‚นๅœจไบŽq(x )ไธๅ—็บฆๆŸ๏ผŒไนŸ
ไธๅญ˜ๅœจ่ˆๅผƒ่กŒไธบ๏ผŒ่ฟ™ไฝฟๅพ—็ฎ—ๆณ•ๆ•ˆ็Ž‡็›ธๅฏนไธŽ่ˆๅผƒ้‡‡ๆ ทๆœ‰ๆ‰€ๆ้ซ˜ใ€‚ไฝ†้‡่ฆๆ€ง้‡‡ๆ ทไนŸๆœ‰
ๅ…ถๅ†…ๅœจ็ผบ็‚น๏ผŒๅณq(x)้€‰ๅ–็š„ๅฅฝๅ็จ‹ๅบฆๅฝฑๅ“็€็งฏๅˆ†็š„็ฒพๅบฆ๏ผŒ่‹ฅq(x)้€‰ๅ–ๅพ—ไธๅฅฝ๏ผŒๅˆ™้œ€
่ฆๅคง้‡็š„ๆ ทๆœฌๆฅๆ้ซ˜็งฏๅˆ†็ฒพๅบฆใ€‚ๅˆป็”ปq(x)ๅฅฝๅ็š„ไธ€็งๅ‡†ๅˆ™ๆ˜ฏๆœ€ๅฐๅŒ–
ห†
I
N
f (x)็š„ๆ–นๅทฎ๏ผŒ
ๅณ
var
q(x)
๎จ
f (x)w(x)
๎ฉ
= E
๎จ
f
2
(x)w
2
(x)
๎ฉ
โˆ’ I
2
( f ) (4-27)
็”ฑไบŽI
2
( f )ไบŽq(x)ๆ— ๅ…ณๅฏไปฅๆ‘„ๅ–๏ผŒๅ†ๅˆฉ็”จJensenไธ็ญ‰ๅผ๏ผŒๆœ‰
E
๎จ
f
2
(x )w
2
(x )
๎ฉ
โ‰ฅ E
2
๎จ
|f (x )|w(x )
๎ฉ
=
๎€
๎š
|f (x )|p(x)dx
๎€‘
2
(4-28)
ๅ› ๆญคๆ่ฎฎๅˆ†ๅธƒๅฏไปฅ้€‰ๅ–ไธบ
q(x) =
|f (x) |p(x)
๎’
|f (x )|p(x)dx
(4-29)
็”ฑไบŽๅˆ†ๆฏๅชๆ˜ฏไธ€ไธชๅฝ’ไธ€ๅŒ–ๅธธๆ•ฐๅฏไปฅไธ็ฎก๏ผŒๆˆ‘ไปฌ็Žฐๅœจ่ฆๅš็š„ๆ˜ฏๅœจ|f (x)|p(x)ไธญ้‡‡ๆ ท๏ผŒ
่ฟ™็œ‹่ตทๆฅไผผไนŽๆฒกๆœ‰ไป€ไนˆ็”จ๏ผŒๅฎž้™…ไธŠไนŸ็กฎๅฎžๆฒกๆœ‰ไป€ไนˆ็”จ๏ผŒๆฏ•็ซŸ|f (x)|p(x)ๅนถไธไผผไธ€
ไธชๅฎนๆ˜“้‡‡ๆ ท็š„ๅ‡ฝๆ•ฐใ€‚ไฝ†ๅฎƒๅฏ็คบๆˆ‘ไปฌไธ€็‚น๏ผŒๅฆ‚ๆžœp(x)็š„ๆ ทๆœฌ่ฝๅœจ็š„้‡่ฆๅŸŸๅฏไปฅไฝฟ
ๅพ—|f (x)|p(x)ๅ–ๅ€ผ่พƒๅคง๏ผŒ้‚ฃไนˆ้‡‡ๆ ทๆ•ˆ็Ž‡ๅฐ†ไผš้žๅธธ้ซ˜๏ผŒ่ฟ™ไนŸๆ˜ฏ้‡่ฆๆ€ง้‡‡ๆ ท็š„ๅ‘ฝๅๆฅ
ๆบใ€‚
ๆ— ่ฎบๆ˜ฏ่ˆๅผƒ้‡‡ๆ ท่ฟ˜ๆ˜ฏ้‡่ฆๆ€ง้‡‡ๆ ท้ƒฝๆ˜ฏ็‹ฌ็ซ‹้‡‡ๆ ท๏ผŒๅณๆ ทๆœฌไน‹้—ดๆ˜ฏ็‹ฌ็ซ‹็š„๏ผŒไปŽ่€Œ
้‡‡ๆ ทๆ•ˆ็Ž‡่พƒไฝŽใ€‚ไธบไบ†ๆ้ซ˜้‡‡ๆ ทๆ•ˆ็Ž‡๏ผŒๆˆ‘ไปฌๅฏไปฅไฝฟ็”จๅ…ณ่”้‡‡ๆ ท๏ผŒๅณๆ ทๆœฌไน‹้—ดๅญ˜ๅœจๅ…ณ
่”๏ผŒๆž„ๅปบๆ ทๆœฌไน‹้—ด็š„ๅ…ณ่”ๆ€งๆ‰€่ฆ็”จๅˆฐ็š„ไพฟๆ˜ฏ่‘—ๅ็š„้ฉฌๅฐ”ๅฏๅคซ้“พใ€‚
4.4 ้ฉฌๅฐ”ๅฏๅคซ้“พ
ๆญฃๅผๅผ•ๅ…ฅ้ฉฌๅฐ”ๅฏๅคซ้“พไน‹ๅ‰๏ผŒๆˆ‘ไปฌๆ‰“็ฎ—ๅ…ˆไปŽไธ€ไธช้šๆœบๆธธ่ตฐ็š„ไพ‹ๅญๅ…ฅๆ‰‹ใ€‚ๆƒณ่ฑกไธ€
ไธชๆญฃๆ–นๅฝขๅŒบๅŸŸๅ†…๏ผŒๅœจๆŸไธ€็‚นๆ”พๅ…ฅNไธช็ฒ’ๅญ๏ผŒ่ฟ™ไบ›ไพ‹ๅญ้šๆœบๅœฐๆœ็€ๅ„ไธชๆ–นๅ‘ๆธธ่ตฐใ€‚
ๅฏนไบŽๆฏไธ€ไธช็ฒ’ๅญ่€Œ่จ€๏ผŒๆฏไธ€ๆฌกๆธธ่ตฐ็š„ๆญฅ้•ฟๆ˜ฏ็›ธ็ญ‰็š„๏ผŒๅชๆ˜ฏ่ง’ๅบฆ้šๆœบ้€‰ๆ‹ฉใ€‚ๅฝ“็ฒ’ๅญ
็งปๅŠจๅˆฐๆญฃๆ–นๅฝข็š„่พน็•Œๆ˜ฏ๏ผŒๅฎƒๅฐ†่ขซๅๅผนๅ›žๆญฃๆ–นๅฝขๅŒบๅŸŸๅ†…ใ€‚็›ด่ง‰ไธŠ็š„ๆƒณ่ฑก๏ผŒ็ป่ฟ‡ๆผซ้•ฟ
็š„ๆ—ถ้—ด๏ผŒ็ฒ’ๅญๅฐ†ๆผซๅธƒๅœจๆ•ดไธชๆญฃๆ–นๅฝขๅŒบๅŸŸๅ†…ใ€‚ๅฆ‚ๅ›พ4-5 ๆ‰€็คบๆ˜ฏไธคไธช้šๆœบๆธธ่ตฐ็š„ไพ‹ๅญ๏ผŒ
- 27 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ๅ…ถไธญ่“่‰ฒ็š„ๅˆๅง‹็Šถๆ€ๅœจไธญๅฟƒ้™„่ฟ‘๏ผŒ็ปฟ่‰ฒ็š„ๅˆๅง‹็Šถๆ€ๅœจๅทฆไธ‹่ง’ใ€‚
ๅ›พ 4-5 ไธคไธช้šๆœบๆธธ่ตฐ็š„ไพ‹ๅญ
่ฟ™ไธชไพ‹ๅญ็ฑปไผผไบŽๅธƒๆœ—่ฟๅŠจ๏ผŒๆœ‰่ถฃ็š„็Žฐ่ฑกๆ˜ฏ๏ผŒ่ตทๅง‹ไฝ็ฝฎ็š„้€‰ๅ–ๅนถไธไผšๅฝฑๅ“ๆœ€็ปˆ
็ป“ๆžœโ€”็ฒ’ๅญ็ปˆๅฐ†ๅ‘ˆๅ‡ๅŒ€ๅˆ†ๅธƒใ€‚ๆญฃๅฆ‚ไธ€้”…ๆœชๅŠ ็›็š„ๆฑค๏ผŒๆ— ่ฎบ็›ไปŽๅ“ชไธชไฝ็ฝฎๆ’’ไธ‹๏ผŒๆœ€
็ปˆๆ•ด้”…ๆฑค็š„ๅ’ธๆทกๆ˜ฏๅ‡ๅŒ€็š„ใ€‚ๅฏนไบŽๆŸไธช็‰นๅฎš็š„็ฒ’ๅญ่€Œ่จ€๏ผŒ่ฟฝ่ธชๅฎƒ็š„่ฝจ่ฟนๆ˜ฏๆ— ๆ„ไน‰็š„๏ผŒ
ไปŽๅฎ่ง‚ไธŠ็œ‹๏ผŒ็ฒ’ๅญไธ‹ไธ€ๆญฅๅค„ไบŽๅ“ชไธชไฝ็ฝฎไธŽไน‹ๅ‰็š„ไฝ็ฝฎๆ— ๅ…ณ๏ผŒๅชไธŽๅฎƒๅฝ“ๅ‰็š„ไฝ็ฝฎๆœ‰
ๅ…ณ๏ผŒๅ› ไธบๅฎƒๆ˜ฏ็ป่ฟ‡ๆ€Žๆ ท็š„่ทฏๅพ„ๅˆฐ่พพๅฝ“ๅ‰็š„็Šถๆ€ๅฏนไธ‹ไธ€ๆญฅ็งปๅŠจๅˆฐๅ“ช้‡Œ่ตทไธๅˆฐไปปไฝ•ไฝœ
็”จใ€‚
้ฉฌๅฐ”ๅฏๅคซ้“พไนŸๆ˜ฏๅŸบไบŽๅŒไธ€ไธชๅŽŸ็†๏ผŒๅ‡่ฎพๆˆ‘ไปฌ็š„ๅ˜้‡xๅฏๅ–ๅพ—็Šถๆ€ๆœ‰sไธช๏ผŒ้‚ฃไนˆ
้›†ๅˆS = {x
1
, x
2
, x
s
}่ขซ็งฐไธบ็Šถๆ€็ฉบ้—ด๏ผŒ้ฉฌๅฐ”ๅฏๅคซ้“พๅˆป็”ป็š„ๆ˜ฏๅ˜้‡xๅœจ็Šถๆ€็ฉบ้—ดS ไธญๅ„
ไธช็Šถๆ€ไน‹้—ด่ฟ็งป็š„่ฝจ่ฟนใ€‚็ฑปไผผไบŽ้šๆœบๆธธ่ตฐ็š„ไพ‹ๅญ๏ผŒ้ฉฌๅฐ”ๅฏๅคซ้“พ็š„ไธ‹ไธ€ไธช็Šถๆ€ไธŽไน‹
ๅ‰็š„็Šถๆ€ๆ— ๅ…ณ๏ผŒๅชไธŽๅฝ“ๅ‰็š„็Šถๆ€ๆœ‰ๅ…ณ๏ผŒๅณ
p(x
(i+1)
|x
(i)
ยทยทยท x
(1)
) = p(x
(i+1)
|x
(i)
) (4-30)
่ฟ™ไธชๆ€ง่ดจไนŸ่ขซ็งฐไธบ้ฉฌๅฐ”ๅฏๅคซๆ€ง่ดจใ€‚ๅฏนไบŽ็ป™ๅฎš็š„็ณป็ปŸ๏ผŒๆˆ‘ไปฌๅฎšไน‰ๆŸไธช็Šถๆ€่ฝฌ็งปๅˆฐๅฆ
ไธ€ไธช็Šถๆ€็š„ๆฆ‚็Ž‡ไธบ่ฝฌ็งปๆฆ‚็Ž‡ไธบ
p(x
(i+1)
|x
(i)
) = T (x
(i)
โ†’ x
(i+1)
) (4-31)
ๅฆ‚ๅ›พ4-6 ไธญ็š„็ณป็ปŸ๏ผŒ็Šถๆ€็ฉบ้—ดไธบ{A, B, C}๏ผŒ็”ฑๅ›พไธญ็š„ๅ‚ๆ•ฐๆˆ‘ไปฌๅฎนๆ˜“็ฎ—ๅพ—่ฝฌ็งป็Ÿฉ
้˜ตT
T =
๏ฃฎ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฐ
T (A โ†’ A) T (A โ†’ B) T (A โ†’ C)
T (B โ†’ A) T (B โ†’ B) T (B โ†’ C)
T (C โ†’ A) T (C โ†’ B) T (C โ†’ C)
๏ฃน
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃป
=
๏ฃฎ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฐ
0 0 1
0.6 0 0.4
0 0.2 0.8
๏ฃน
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃป
(4-32)
- 28 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ๅ›พ 4-6 ้ฉฌๅฐ”็ง‘ๅคซ้“พ
ๅ€˜่‹ฅๆˆ‘ไปฌไธบAใ€Bใ€C่ต‹ไบˆไธ€ไบ›ๅฎž้™…ๆ„ไน‰๏ผŒๆˆ‘ไปฌไปคAไปฃ่กจไธ‹้›จ๏ผŒBไปฃ่กจๅคšไบ‘๏ผŒ
Cไปฃ่กจๆ™ดๅคฉ๏ผŒๅˆๅ‡่ฎพไปŠๅคฉ็š„ๅคฉๆฐ”ไธบไธ‹้›จ๏ผŒ็Žฐๅœจๆˆ‘ไปฌ่ฆไผฐ่ฎก10ๅคฉๅŽ็š„ๅคฉๆฐ”็Šถๅ†ตใ€‚้ฆ–
ๅ…ˆ๏ผŒๆˆ‘ไปฌๅฏไปฅๅพˆๅฎนๆ˜“ๅœฐๅฐ†ไปŠๅคฉ็š„ๅคฉๆฐ”ๆ่ฟฐไธบไธ€ไธชๅ‘้‡
x = [1 0 0] (4-33)
ไธบไบ†่ฎก็ฎ—10ๅคฉๅŽ็š„ๅคฉๆฐ”๏ผŒ็”จx ไน˜ไปฅ10 ๆฌก่ฝฌ็งป็Ÿฉ้˜ตๅŽๅฐ†ๅพ—ๅˆฐ10ๅคฉๅŽ็š„ๅคฉๆฐ”็Šถๅ†ต๏ผŒๅณ
[1 0 0] ร—
๏ฃฎ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฐ
0 0 1
0.6 0 0.4
0 0.2 0.8
๏ฃน
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃป
10
= [0.091 0.151 0.758] (4-34)
ไนŸๅฐฑๆ˜ฏ่ฏด๏ผŒ10ๅคฉๅŽไธ‹้›จ็š„ๆฆ‚็Ž‡ไธบ0.091๏ผŒๅคšไบ‘็š„ๆฆ‚็Ž‡ไธบ0.151๏ผŒๆ™ดๅคฉ็š„ๆฆ‚็Ž‡ไธบ0.758ใ€‚
ๅ€˜่‹ฅๆˆ‘ไปฌๅ‡่ฎพไปŠๅคฉ็š„ๅคฉๆฐ”ไธบๅคšไบ‘๏ผŒๅˆฉ็”จๅŒๆ ท็š„ๆ–นๆณ•๏ผŒๆˆ‘ไปฌๅฏไปฅ่ฎก็ฎ—ๅพ—10ๅคฉๅŽ
็š„ๅคฉๆฐ”็Šถๅ†ตไธบ
[0 1 0] ร—
๏ฃฎ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฐ
0 0 1
0.6 0 0.4
0 0.2 0.8
๏ฃน
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃป
10
= [0.091 0.151 0.758] (4-35)
ๆˆ‘ไปฌๅ‘็Žฐ๏ผŒไธ็ฎกไปŠๅคฉๆ˜ฏ้›จๅคฉๅผ€ๅง‹ๅคšไบ‘๏ผŒ่ฎก็ฎ—ๅพ—ๅˆฐ10ๅคฉๅŽ็š„ๅคฉๆฐ”ๆƒ…ๅ†ตๆ˜ฏๅๅˆ†ๆŽฅ่ฟ‘็š„
๏ผˆ่ฟ™้‡ŒๅฎŒๅ…จไธ€ๆ ทๆ˜ฏๅ› ไธบๆˆ‘ไปฌ่ˆๅŽปไบ†ๅฐพ้ƒจๅฐๆ•ฐ๏ผ‰๏ผŒๅฆ‚ๆžœ่ฏป่€…ๆœ‰ๅ…ด่ถฃ็š„่ฏๅฏไปฅ้ชŒ่ฏๅˆๅง‹
็Šถๆ€ไธบๆ™ดๅคฉๆ˜ฏๅพ—ๅˆฐ็š„็ป“ๆžœไนŸๆ˜ฏไธ€ๆ ท็š„ใ€‚ไนŸๅฐฑๆ˜ฏ่ฏด๏ผŒไธ็ฎกไปŠๅคฉ็š„ๅคฉๆฐ”ๅฆ‚ไฝ•๏ผŒๅฏน10ๅคฉ
ๅŽ็š„ๅคฉๆฐ”ๅ‡ๆ— ๅฝฑๅ“
2
ใ€‚
ไน‹ๆ‰€ไปฅๅ‡บ็Žฐ่ฟ™็ง็Žฐ่ฑกๆ˜ฏๅ› ไธบ้ฉฌๅฐ”ๅฏๅคซ้“พๅœจ็ฌฌๅไธชๅ‘จๆœŸๆ—ถๅทฒ็ป่ฟ›ๅ…ฅไธ€ไธชๆˆ‘ไปฌ็งฐ
ไน‹ไธบๅนณ็จณ็š„็Šถๆ€ใ€‚็ฑปไผผไบŽไน‹ๅ‰็š„้šๆœบๆธธ่ตฐ๏ผŒๅฝ“็ป่ฟ‡่ถณๅคŸ้•ฟ็š„ๆ—ถ้—ดๅŽ๏ผŒ็ณป็ปŸ็š„็Šถๆ€
ไธŽๅˆๅง‹็Šถๆ€ๅ†ๆ— ๅ…ณ่”๏ผŒๅชไธŽ็ณป็ปŸ็š„็ป“ๆž„๏ผˆไนŸๅฐฑๆ˜ฏ่ฝฌ็งป็Ÿฉ้˜ต๏ผ‰ๆœ‰ๅ…ณใ€‚ไฝ†ๅนถไธๆ˜ฏๆ‰€ๆœ‰
็š„่ฝฌ็งป็Ÿฉ้˜ต้ƒฝ่ƒฝ่พพๅˆฐๅนณ็จณ๏ผŒๅœจ่ฟ™้‡Œ๏ผŒๆˆ‘ไปฌๅนถไธๆ‰“็ฎ—ๆทฑๅ…ฅ่ฎจ่ฎบ๏ผŒๅช็ป™ๅ‡บ็ป“่ฎบๅฎš็†
2
้œ€่ฆ่งฃ้‡Šไธ€ไธ‹๏ผŒ่ฟ™ไธชๅคฉๆฐ”็ณป็ปŸๆ˜ฏๆˆ‘ไปฌๅ‡่ฎพ็š„๏ผŒๅฎž้™…ไธญ็š„ๅคฉๆฐ”็ณป็ปŸๅนถไธไผšๅฆ‚ๆญค็ฎ€ๅ•
- 29 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ๅฎš็† 4.1 ๅฆ‚ๆžœไธ€ไธช้ฉฌๅฐ”็ง‘ๅคซ้“พๆ˜ฏๅ„ๆ€้ๅŽ†็š„๏ผŒ้‚ฃไนˆๅญ˜ๅœจไธ€ไธชๆ—ถ้—ดt
s
๏ผŒๅฝ“t > t
s
ๆ—ถ๏ผŒ
้ฉฌๅฐ”ๅฏๅคซ้“พๅˆฐ่พพไธ€ไธชๅนณ็จณๅˆ†ๅธƒx
โˆ—
๏ผŒๅ…ถไธญx
โˆ—
ๆปก่ถณ
x
โˆ—
= x
โˆ—
T (4-36)
ๆ‰€่ฐ“ๅ„ๆ€้ๅŽ†๏ผŒๅณ่ฆๆฑ‚้ฉฌๅฐ”ๅฏๅคซ้“พๆ˜ฏไธๅฏ็บฆไธ”้žๅ‘จๆœŸ็š„๏ผŒๆ‰€่ฐ“ไธๅฏ็บฆ๏ผŒๅณๆ‰€
ๆœ‰็Šถๆ€้ƒฝๆ˜ฏๆœ‰ๅ…ณ่”็š„๏ผŒไปŽๆŸไธช็Šถๆ€ๅ‡บๅ‘๏ผŒไธๅญ˜ๅœจๆ— ๆณ•ๅˆฐ่พพ็š„็Šถๆ€๏ผŒๆ‰€่ฐ“้žๅ‘จๆœŸ๏ผŒ
ๅณ้ฉฌๅฐ”ๅฏๅคซ้“พไธไผš้™ทๅ…ฅๆŸๅ‡ ไธช็Šถๆ€้—ดๅพช็Žฏ๏ผŒๆปก่ถณไธŠ่ฟฐไธคไธชๆกไปถ็š„้ฉฌๅฐ”ๅฏๅคซ้“พๆˆ‘ไปฌ
็งฐๅฎƒๆ˜ฏๅ„ๆ€้ๅŽ†็š„ใ€‚
ๅˆฉ็”จ้ฉฌๅฐ”ๅฏๅคซ้“พ็š„่ฟ™ไธชๆ€ง่ดจ๏ผŒๆˆ‘ไปฌๅฐฑๅฏไปฅๅฎž็Žฐๅ…ณ่”้‡‡ๆ ทใ€‚็”ฑไบŽๅˆๅง‹็Šถๆ€ไธŽ็จณ
ๆ€ๆ— ๅ…ณ๏ผŒๆˆ‘ไปฌๅฏไปฅ้šๆœบ่ฎพ็ฝฎ๏ผŒ็ป่ฟ‡ๅคšๆฌก้šๆœบๆธธ่ตฐ๏ผŒ่ฟ›ๅ…ฅ็จณๆ€ๅŽๅพ—ๅˆฐ็š„็Šถๆ€ไพฟๅฏ
ไปฅไฝœไธบไธ€ไธชๆ ทๆœฌใ€‚ไปฅไธŠ่ฎจ่ฎบๅ‡ๅŸบไบŽไธ€ไธชๅ‰ๆ๏ผŒๅณ่ฝฌ็งป็Ÿฉ้˜ตๆ˜ฏๅทฒ็Ÿฅ็š„ใ€‚็„ถ่€Œ๏ผŒๅฎž้™…
ไธญ๏ผŒๆˆ‘ไปฌๅนถไธ็Ÿฅ้“่ฝฌ็งป็Ÿฉ้˜ต็š„ๆ•ฐๅ€ผใ€‚ไพ‹ๅฆ‚๏ผŒๆˆ‘ไปฌๅนถไธ็Ÿฅ้“็”ฑๆ™ดๅคฉ่ฝฌ็งปๅˆฐๅคšไบ‘็š„ๆฆ‚
็Ž‡ๆ˜ฏ0.2๏ผŒ่ฟ™ไธชๆ•ฐๅ€ผๆ˜ฏๆˆ‘ไปฌๆ้€ ็š„ใ€‚ไฝ†ๆ˜ฏไธ€ๆ—ฆ่ฝฌ็งป็Ÿฉ้˜ต็Ÿฅ้“ไบ†๏ผŒ้‡‡ๆ ท้—ฎ้ข˜ไพฟ่ฟŽๅˆƒ่€Œ
่งฃ๏ผŒ็›ฎๅ‰ๆˆ็†Ÿ็š„้ฉฌๅฐ”ๅฏๅคซ้“พ่’™็‰นๅก็ฝ—ๆ–นๆณ•ๆ•ดไฝ“ๆก†ๆžถ้ƒฝๆ˜ฏ็ฑปไผผ็š„๏ผŒไธๅŒ็š„ๅœฐๆ–นๅพ€ๅพ€
ๅœจไบŽ่ฝฌ็งป็Ÿฉ้˜ต็š„ๆž„้€ ไธŠใ€‚
4.5 Metropolis-Hastings็ฎ—ๆณ•
ไธŽ่ˆๅผƒ้‡‡ๆ ท็ฑปไผผ๏ผŒMetropolis-Hastings็ฎ—ๆณ•๏ผˆไปฅไธ‹็ฎ€็งฐMH็ฎ—ๆณ•๏ผ‰ไนŸๅญ˜ๅœจไธ€ไธช
ๆ่ฎฎๅˆ†ๅธƒ๏ผŒ่ฟ™ไธชๆ่ฎฎๅˆ†ๅธƒๅฎšไน‰ไธบq(x
โˆ—
|x)๏ผŒไธๅŒ็š„ๆ˜ฏ๏ผŒ่ˆๅผƒ้‡‡ๆ ทไธญ็š„ๆ่ฎฎๅˆ†ๅธƒๅ—ไธ€
ไธชๅผบ็บฆๆŸ๏ผŒๅณp(x) < Mq (x )๏ผŒ่€ŒMH็ฎ—ๆณ•ไธญ็š„ๆ่ฎฎๅˆ†ๅธƒๅช้œ€่ฆๆปก่ถณq(x
โˆ—
|x ) > 0ๅณๅฏ๏ผŒ
ๆ˜พ็„ถ่ฟ™ไธช็บฆๆŸ็›ธๅฝ“ไบŽๆฒกๆœ‰็บฆๆŸ๏ผŒๅ› ไธบๆฆ‚็Ž‡่ฎบไธ‰ๅคงๅ…ฌ็†็š„็ฌฌไธ€ๆกๅฐฑไฝฟ่ฟ™ไธช็บฆๆŸๆˆ
็ซ‹ไบ†ใ€‚ๅฆไธ€ไธชไธๅŒ็‚นๅœจไบŽ๏ผŒMH็ฎ—ๆณ•ไธญ็š„ๆ่ฎฎๅˆ†ๅธƒๅ…ถๆ„ไน‰ไธบ๏ผšๅœจๅฝ“ๅ‰็Šถๆ€x ไธ‹๏ผŒ็”ฑ
ๆ่ฎฎๅˆ†ๅธƒq(x
โˆ—
|x )ไบง็”Ÿไธ€ไธช่ฏ•ๆŽขๆ€ง็Šถๆ€x
โˆ—
๏ผŒ้šๅŽๆ นๆฎๆŽฅๅ—ๆฆ‚็Ž‡ๅ†ณๅฎšๆ˜ฏๅฆ่ฝฌ็งปๅˆฐๆ–ฐ็Šถ
ๆ€x
โˆ—
ไธŠ๏ผŒ่ฟ™้‡Œ๏ผŒๆŽฅๅ—ๆฆ‚็Ž‡ๅฎšไน‰ไธบ
A =
p(x
โˆ—
) ยท q(x|x
โˆ—
)
p(x) ยท q(x
โˆ—
|x )
(4-37)
ๆญคๆ—ถ๏ผŒ่‹ฅๆŽฅๅ—ๆฆ‚็Ž‡A > 1๏ผŒๅˆ™ๆŽฅๅ—่ฟ™ไธชๆ–ฐ็Šถๆ€๏ผŒๅฆๅˆ™๏ผŒไปฅๆฆ‚็Ž‡AๆŽฅๅ—ๆ–ฐ็Šถๆ€ใ€‚่‹ฅๆŽฅ
ๅ—ไบ†่ฟ™ไธชๆ–ฐ็Šถๆ€x
โˆ—
๏ผŒๅˆ™็Šถๆ€ไปŽx่ฝฌ็งปๅˆฐx
โˆ—
ๅค„๏ผŒๅนถๅœจx
โˆ—
ๅค„็š„ๆ่ฎฎๅˆ†ๅธƒq(x
โˆ—โˆ—
|x
โˆ—
)ไบง็”Ÿไธ€ไธช
ๆ–ฐ็š„่ฏ•ๆŽข็Šถๆ€x
โˆ—โˆ—
๏ผŒๅฆ‚ๆญคๅๅคๅพช็Žฏ๏ผŒ่‹ฅไธๆŽฅๅ—่ฟ™ไธช็Šถๆ€x
โˆ—
๏ผŒๅˆ™็Šถๆ€ไป็„ถๅœ็•™xๅค„ใ€‚
้œ€่ฆๆณจๆ„็š„ไธ€็‚นๆ˜ฏ๏ผŒๅœจMH้‡‡ๆ ทไธญ๏ผŒๆ่ฎฎๅˆ†ๅธƒq(x
โˆ—
|x)ๆ˜ฏๅฏน็€็Šถๆ€x็š„ๅ˜ๅŠจ่€Œๅ˜
ๅŠจ็š„๏ผŒไพ‹ๅฆ‚๏ผŒๅฆ‚ๆžœๆˆ‘ไปฌๅฐ†ๆ่ฎฎๅˆ†ๅธƒq(x
โˆ—
|x )่ฎพ่ฎกๆˆไธ€ไธชๅœจไปฅxไธบไธญๅฟƒ๏ผŒไปฅ2ไธบๆ–นๅทฎ็š„
้ซ˜ๆ–ฏๅˆ†ๅธƒ๏ผŒๅณq(x โˆ— |x) โˆผ N(x, 2)๏ผŒ้‚ฃไนˆๅฆ‚ๅ›พ4-7ๆ‰€็คบ๏ผŒๅœจx
(1)
็Šถๆ€ๅ’Œx
(2)
็Šถๆ€ไธ‹็š„ๆ่ฎฎ
ๅˆ†ๅธƒๆ˜ฏไธๅŒ็š„ใ€‚
- 30 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ๅ›พ 4-7 ไธๅŒ็Šถๆ€ไธ‹็š„ๆ่ฎฎๅˆ†ๅธƒ
็ปผๅˆไปฅไธŠ็š„่ฎจ่ฎบ๏ผŒMH็ฎ—ๆณ•ๅฏไปฅๆ่ฟฐไธบ็ฎ—ๆณ•4-2 ไธญ็š„่ฟ‡็จ‹ใ€‚
Input: ็œŸๅฎžๅˆ†ๅธƒp(x)๏ผ›ๆ่ฎฎๅˆ†ๅธƒq(x
โˆ—
|x )๏ผ›ๆธธ่ตฐๆฌกๆ•ฐN
Output: 1ไธช้‡‡ๆ ทๆ ทๆœฌx
(N)
1 ่ฎพ็ฝฎๅˆๅง‹็Šถๆ€x
(0)
๏ผŒi = 0;
2 repeat
3 ้‡‡ๆ ทx
โˆ—
โˆผ q(x
โˆ—
|x
(i)
)๏ผŒ่Žทๅ–้šๆœบๆ•ฐu โˆผ U(0, 1)๏ผ›
4 ่ฎก็ฎ—ๆŽฅๅ—ๆฆ‚็Ž‡A =
p(x
โˆ—
)ยทq(x|x
โˆ—
)
p(x)q(x
โˆ—
|x)
5 if u < A then
6 x
(i+1)
= x
โˆ—
๏ผ›
7 end
8 else
9 x
(i+1)
= x
(i)
10 end
11 until i = N;
12 ่ฟ”ๅ›žx
(N)
็ฎ—ๆณ• 4-2 Metropolis-Hastings็ฎ—ๆณ•
็›ธๆฏ”ไบŽ่ˆๅผƒ้‡‡ๆ ท๏ผŒ่ˆๅผƒ้‡‡ๆ ท็š„ๆ‹’็ปๆ˜ฏ็›ดๆŽฅๆŠ›ๅผƒๆ ทๆœฌ๏ผŒ่€ŒMH้‡‡ๆ ท็š„ๆ‹’็ปๆ˜ฏ่ฎฉ
ๆ ทๆœฌๅœ็•™ๅœจๅฝ“ๅ‰็Šถๆ€ใ€‚ๅฆไธ€ไธชไธๅŒ็‚นๅœจไบŽ๏ผŒ็ฎ—ๆณ•4-2ๆ่ฟฐ็š„ๆ˜ฏ้‡‡ๆ ทๅ‡บไธ€ไธชๆ ทๆœฌ็š„่ฟ‡
็จ‹๏ผŒๆ˜ฏไธ€ไธช้šๆœบๆธธ่ตฐ็š„่ฟ‡็จ‹๏ผŒ่€Œ็ฎ—ๆณ•4-1ๆ่ฟฐ็š„ๆ˜ฏ้‡‡ๆ ทๅ‡บNไธชๆ ทๆœฌ็š„่ฟ‡็จ‹ใ€‚ๅฐฝ็ฎก็ฎ—
ๆณ•4-2ๅช่ƒฝ้‡‡ๆ ทๅ‡บไธ€ไธชๆ ทๆœฌ๏ผŒไฝ†ๆ˜ฏๆˆ‘ไปฌไนŸๅฏไปฅๅพˆๅฎนๆ˜“ๅฐ†ๅ…ถๆ‰ฉๅฑ•ๆˆไธบๆฎ‹้˜ณNไธชๆ ทๆœฌ็š„
็ฎ—ๆณ•ใ€‚ๅฆๅค–๏ผŒ็”ฑไบŽๅ„ไธชๆ ทๆœฌ็š„้šๆœบๆธธ่ตฐๆ˜ฏ็‹ฌ็ซ‹็š„๏ผŒไธๅญ˜ๅœจ็บฟ็จ‹ๅฎ‰ๅ…จ้—ฎ้ข˜๏ผŒๅ› ๆญค็ฎ—
- 31 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ๆณ•4-2ๅฏไปฅๅพˆๅฎนๆ˜“่ฎพ่ฎกๆˆไธบๅนถ่กŒ็ฎ—ๆณ•ใ€‚
ๆญฃๅฆ‚ๆˆ‘ไปฌๆๅˆฐ็š„๏ผŒๅฆ‚ๆžœๆˆ‘ไปฌไฝฟ็”จไธ€ไธชๅฝขๅผไธบq(x
โˆ—
|x ) โˆผ N(x, 2)็š„ๆ่ฎฎๅˆ†ๅธƒๅŒบ้‡‡
ๆ ท1000ไธชๅผ(4-7)ไธญๅฎž้™…ๅˆ†ๅธƒp(x)็š„ๆ ทๆœฌ๏ผŒๅฏนไบŽไธๅŒ็š„ๆธธ่ตฐๆฌกๆ•ฐN๏ผŒๅ…ถ็ป“ๆžœๅฆ‚ๅ›พ4-8
ๆ‰€็คบ
a) N = 10 b) N = 100
c) N = 1000 d) N = 100
ๅ›พ 4-8 ไธๅŒๆธธ่ตฐๆฌกๆ•ฐไธ‹็š„ๆ ทๆœฌๅˆ†ๅธƒ็›ดๆ–นๅ›พ
ไปŽๅ›พไธญๆˆ‘ไปฌไธ้šพๅ‘็Žฐ๏ผŒๅœจๆธธ่ตฐๆฌกๆ•ฐN = 10ๆ—ถ๏ผŒ้€ผ่ฟ‘ๆ•ˆๆžœๅนถไธๅฎŒ็พŽ๏ผŒ้š็€N็š„ๅขž
ๅคง๏ผŒๅฝ“N = 100ๆ—ถ๏ผŒ้‡‡ๆ ท็ป“ๆžœๅทฒ็ป่ƒฝๅพˆๅฅฝๅœฐๅˆป็”ปๅฎž้™…ๅˆ†ๅธƒไบ†ใ€‚ๆญคๆ—ถ๏ผŒNๅ†ๅขžๅคง๏ผˆๆฏ”
ๅฆ‚1000ๆˆ–5000๏ผ‰ๅทฒ็ปๅทฎๅˆซไธๅคงใ€‚ไปŽ้šๆœบๆธธ่ตฐ็š„่ง’ๅบฆไธŠ็œ‹๏ผŒๅฏไปฅ็†่งฃไธบ๏ผŒN = 100ๆ—ถ
ๅฐฑๅทฒ็ป่ฟ›ๅ…ฅๅนณ็จณๅˆ†ๅธƒ๏ผŒๅ†็ปง็ปญๆธธ่ตฐไธ‹ๅŽปๅนถๆฒกๆœ‰ๅคชๅคงๆ„ไน‰ใ€‚
MH้‡‡ ๆ ท ๅฏ ไปฅ ่ฎค ไธบ ๆ˜ฏ ๅพˆ ๅคšMCMCๆ–น ๆณ• ็š„ ๆจก ๆฟ๏ผŒ ๅ…ถ ไป– ็š„MCMCๆ–น ๆณ• ๅคง ๅคš ้ƒฝ
ๆ˜ฏMH็ฎ—ๆณ•็š„็‰นไพ‹ใ€‚ไน‹ๆ‰€ไปฅไผšไปŽMH็ฎ—ๆณ•ไธญ่ก็”Ÿๅ‡บๅฆ‚ๆญคๅคš็š„ๅˆ†ๆ”ฏๆ˜ฏๅ› ไธบMHๆœ‰ๅ…ถ
่‡ช่บซ็š„ๅฑ€้™ๆ€งใ€‚้ฆ–ๅ…ˆ๏ผŒๆˆ‘ไปฌ้šพไปฅไผฐ่ฎก็Šถๆ€ๆ˜ฏๅฆ่ฟ›ๅ…ฅๅนณ็จณ็Šถๆ€๏ผŒๅณๆธธ่ตฐๆฌกๆ•ฐN้šพไปฅ
็กฎๅฎšใ€‚ๅ…ถๆฌก๏ผŒMH็ฎ—ๆณ•ๅœจ้ซ˜็ปด้—ฎ้ข˜ไธญ็š„ๆ•ˆๆžœๅนถไธๅฅฝ๏ผŒๅ› ไธบ้ซ˜็ปด็ฉบ้—ด็š„ๅœฐๅฝขๅคๆ‚๏ผŒ
MH็ฎ—ๆณ•ไธ€ไธๅฐๅฟƒๅฐฑไผš่ฝๅ…ฅไธ€ไธชๅ‘จๅ›ด็Šถๆ€็š„ๆŽฅๅ—ๆฆ‚็Ž‡้ƒฝๅพˆๅฐ็š„ๅŒบๅŸŸ๏ผŒ่ฟ™ๅฐ†ๅฏผ่‡ด่ฏ•
ๆŽข็Šถๆ€ไธๆ–ญๅœฐ่ขซๅฆๅ†ณ๏ผŒไปŽ่€Œ้•ฟๆ—ถ้—ด็•™ๆปžๅœจ่ฏฅ็‚น้™„่ฟ‘ใ€‚ๆŽฅๅ—ๆฆ‚็Ž‡็š„ๅญ˜ๅœจ๏ผŒไฝฟๅพ—ๆธธ่ตฐ
- 32 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ๆ•ˆ็Ž‡ไฝŽไธ‹๏ผŒ่€ŒGibbs้‡‡ๆ ทๆ˜ฏMH้‡‡ๆ ท็š„ไธ€ไธช็‰นไพ‹๏ผŒ่ฟ™็งๆ–นๆณ•ไธๅญ˜ๅœจๆŽฅๅ—ๆฆ‚็Ž‡๏ผŒๆˆ–่€…
่ฏดๆŽฅๅ—ๆฆ‚็Ž‡ไธบ1๏ผŒๅ› ๆญคๆฏไธ€ๆฌกๆธธ่ตฐ้ƒฝๅฐ†ๅพ—ๅˆฐไธ€ไธชๆ–ฐ็š„็Šถๆ€๏ผŒ่ฟ™ไธช็‰นๆ€งๅฐ†ๅคงๅคงๅœฐๅŠ ๅฟซ
ๆ”ถๆ•›้€Ÿๅบฆใ€‚
4.6 Gibbs้‡‡ๆ ท
Gibbs้‡‡ๆ ทๅˆ็งฐไธบ็ƒญๆตดๆ–นๆณ•ๆˆ–โ€œGlaberๅŠจๅŠ›ๅญฆโ€
[16]
๏ผŒๅธธ็”จไบŽ่งฃๅ†ณ้ซ˜็ปดๅˆ†ๅธƒไธญ็š„
้‡‡ๆ ท้—ฎ้ข˜ใ€‚ๅ‡่ฎพๆˆ‘ไปฌๆœ‰ไธ€ไธชd็ปดๅ‘้‡x๏ผŒๅนถไธ”็Ÿฅ้“ไปปไธ€ๅˆ†้‡็š„ๆกไปถๆฆ‚็Ž‡ๅˆ†ๅธƒๅฝขๅผ
p(x
j
|x
โˆ’j
) ๎€ฌ p(x
j
|x
1
, ยทยทยท , x
jโˆ’1
, x
j+1
, ยทยทยท x
d
) (4-38)
ๅˆ™ๆˆ‘ไปฌๆž„ๅปบๆ่ฎฎๅˆ†ๅธƒ
[27]
q(x
โˆ—
|x ) =
๏ฃฑ
๏ฃด
๏ฃด
๏ฃด
๏ฃฒ
๏ฃด
๏ฃด
๏ฃด
๏ฃณ
p(x
โˆ—
j
|x
โˆ’j
) ่‹ฅx
โˆ—
โˆ’j
= x
โˆ’j
0 ๅ…ถไป–
(4-39)
็”ฑไบŽGibbs้‡‡ๆ ทๆ˜ฏMH้‡‡ๆ ท็š„็‰นไพ‹๏ผŒ่€ŒMH้‡‡ๆ ท็š„ๆŽฅๅ—ๆฆ‚็Ž‡ๅ…ฌๅผ(4-37)ๅˆๅฏไปฅๆ
่ฟฐไธบ
A = min
๎ฎ
1,
p(x
โˆ—
) ยท q(x|x
โˆ—
)
p(x) ยท q(x
โˆ—
|x )
๎ฏ
(4-40)
ๅฐ†ๅผ(4-39)ไปฃๅ…ฅๅผ(4-40)๏ผŒๅนถๅˆฉ็”จx
โˆ—
โˆ’j
= x
โˆ’j
ๆ€ง่ดจไปฅๅŠ่ดๅถๆ–ฏๅ…ฌๅผ๏ผŒๆœ‰
A = min
๎€š
1,
p(x
โˆ—
) ยท p(x
j
|x
โˆ—
โˆ’j
)
p(x) ยท p(x
โˆ—
j
|x
โˆ’j
)
๎€›
= min
๎€š
1,
p(x
โˆ—
) ยท p(x
j
|x
โˆ’j
)
p(x) ยท p(x
โˆ—
j
|x
โˆ—
โˆ’j
)
๎€›
= min
๎€š
1,
p(x
โˆ—
โˆ’j
)
p(x
โˆ’j
)
๎€›
= 1
(4-41)
็”ฑๅผ(4-41)ๆˆ‘ไปฌไธ้šพๅพ—ๅ‡บ็ป“่ฎบ๏ผŒGibbs็š„ๆŽฅๅ—ๆฆ‚็Ž‡ๆ’ไธบ1๏ผŒไบฆๅณๅœจGibbs้‡‡ๆ ทไธญ๏ผŒ
ๆˆ‘ไปฌไธๅญ˜ๅœจไธขๅผƒๆ ทๆœฌๆˆ–็Šถๆ€ๅœๆปž็š„่กŒไธบ๏ผŒๆฏไธ€ๆฌก้ƒฝไผš่ฝฌ็งปๅˆฐไธ€ไธชๆ–ฐ็š„็Šถๆ€ไธŠ๏ผŒ่ฟ™
ๆ˜พ็„ถไผšๅŠ ๅฟซ็ฎ—ๆณ•็š„ๆ”ถๆ•›้€Ÿๅบฆใ€‚
ไปฅไธŠๅ†…ๅฎนๆœชๅ…่ฟ‡ไบŽๆ™ฆๆถฉ๏ผŒไธบไบ†ๆ–นไพฟๅคงๅฎถ็†่งฃ๏ผŒๆˆ‘ไปฌๅฐ†ๅ†ๆฌก้˜่ฟฐGibbs้‡‡ๆ ท็š„
ๅŽŸ็†ใ€‚้ฆ–ๅ…ˆ๏ผŒGibbs้‡‡ๆ ท่ฆๅŸบไบŽไธ€ไธชๅคงๅ‰ๆโ€”็œŸๅฎžๅˆ†ๅธƒp(x)ๅœจๅ„ไธช็ปดๅบฆ็š„ๆกไปถๆฆ‚
็Ž‡ๅˆ†ๅธƒๆ˜ฏๅทฒ็Ÿฅ็š„๏ผŒๅณp(x
j
|x
1
, ยทยทยท , x
jโˆ’1
, x
j+1
, ยทยทยท , x
d
)ๅทฒ็Ÿฅใ€‚ๅฆ‚ๆžœ่ฟ™ไธชๆกไปถๆฆ‚็Ž‡ๅˆ†ๅธƒๆ˜ฏ
ๆœช็Ÿฅ็š„๏ผŒๅˆ™ไฝฟ็”จGibbs้‡‡ๆ ทไธๆ˜ฏไธ€ไธชๆฐๅฝ“็š„็ญ–็•ฅ๏ผŒๅ› ไธบGibbs้‡‡ๆ ท็š„ๆ่ฎฎๅˆ†ๅธƒๆ˜ฏๅŸบ
ไบŽ่ฟ™ไธชๆกไปถๆฆ‚็Ž‡ๅˆ†ๅธƒไน‹ไธŠๆž„ๅปบๅ‡บๆฅ็š„ใ€‚ๅผ(4-39)ๅฎšไน‰็š„ๆ่ฎฎๅˆ†ๅธƒ๏ผŒๅ…ถๅซไน‰ไธบ๏ผš ๅ›บ
ๅฎšx
1
, ยทยทยท , x
jโˆ’1
, x
j+1
, ยทยทยท , x
d
่ฟ™d โˆ’ 1ไธช็ปดๅบฆ็š„็Šถๆ€ไธๅ˜๏ผŒๅ•็‹ฌๅค„็†dไธช็ปดๅบฆไธญ็š„ไธ€ไธช๏ผŒ
- 33 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ๅณx
j
ใ€‚ๅฆ‚ๆžœๅฐ†Gibbs้‡‡ๆ ท่ฏ•ๆƒณๆˆไธบไธ€ๅช็ซ ้ฑผ๏ผŒ้‚ฃไนˆๆฏๆฌกๅฎƒ้ƒฝๅช่ฟˆๅ‡บไธ€ๅช่„š๏ผŒๅฝ“่ฟ™ๅช
่„šๅ›บๅฎšๅŽ๏ผŒๅ†่ฟˆๅ‡บๅ‰ฉไธ‹็š„ๅฆไธ€ๅช่„š๏ผŒๅ› ๆญค๏ผŒGibbs้‡‡ๆ ท็š„็ฎ—ๆณ•ๆ่ฟฐๅฆ‚็ฎ—ๆณ•4-3ๆ‰€็คบใ€‚
Input: ๅ„ไธช็ปดๅบฆ็š„ๆกไปถๅˆ†ๅธƒp(x
j
|x
โˆ’j
)๏ผ›ๆธธ่ตฐๆฌกๆ•ฐN
Output: 1ไธช้‡‡ๆ ทๆ ทๆœฌx
(N)
1 ่ฎพ็ฝฎๅˆๅง‹็Šถๆ€x
(0)
๏ผŒi = 0;
2 repeat
3 ้‡‡ๆ ทๅ‡บ็ฌฌ1ไธช็ปดๅบฆx
(i+1)
1
โˆผ p(x
1
|x
(i)
2
, x
(i)
3
, ยทยทยท , x
(i)
d
)
4 ้‡‡ๆ ทๅ‡บ็ฌฌ2ไธช็ปดๅบฆx
(i+1)
2
โˆผ p(x
2
|x
(i+1)
1
, x
(i)
3
, ยทยทยท , x
(i)
d
)
5
.
.
.
6 ้‡‡ๆ ทๅ‡บ็ฌฌ jไธช็ปดๅบฆx
(i+1)
j
โˆผ p(x
j
|x
(i+1)
1
, ยทยทยท , x
(i+1)
jโˆ’1
, x
(i)
j+1
, x
(i)
d
)
7
.
.
.
8 ้‡‡ๆ ทๅ‡บ็ฌฌdไธช็ปดๅบฆx
(i+1)
d
โˆผ p(x
d
|x
(i+1)
1
, x
(i+1)
2
, ยทยทยท , x
(i+1)
dโˆ’1
)
9 until i = N;
10 ่ฟ”ๅ›žx
(N)
็ฎ—ๆณ• 4-3 Gibbs้‡‡ๆ ท็ฎ—ๆณ•
่‡ณ ๆญค๏ผŒMCMC็š„ ๅคง ไฝ“ ๅ†… ๅฎน ๅทฒ ่ฎจ ่ฎบ ๅฎŒ ๆฏ•๏ผŒ่ฎฉ ๆˆ‘ ไปฌ ๅ›ž ๅˆฐ ็ฌฌไธ‰็ซ  ้— ็•™ ็š„ ้—ฎ ้ข˜ใ€‚
็ฌฌไธ‰็ซ ไธญ๏ผŒๅผ(3-33)๏ผŒๅณ
โˆ‚ ln L
ห†v
โˆ‚ฮธ
= โˆ’E
p(h|ห†v)
๎€”
โˆ‚E(ห†v, h)
โˆ‚ฮธ
๎€•
+ E
p(v,h)
๎€”
โˆ‚E(v, h)
โˆ‚ฮธ
๎€•
(4-42)
ๆˆ‘ไปฌ่ฏด๏ผŒๅผไธญ็š„็ฌฌไธ€้กนๆœŸๆœ›ๆ˜ฏๅฎนๆ˜“ๅค„็†็š„๏ผŒ่€Œ็ฌฌไบŒ้กนๅด้šพไปฅๅค„็†๏ผŒๅ› ไธบๅฆ‚ๆžœ
ๆˆ‘ ไปฌ ้‡‡ ็”จ ็ฉท ไธพ ็š„ ๆ–น ๆณ• ่งฃ ๅ†ณ ่ฟ™ ไธช ้—ฎ ้ข˜๏ผŒ่ฟ™ ๅฐ† ไผš ๆ˜ฏ ไธ€ ไธชO(2
n
v
+n
h
)ๅค ๆ‚ ๅบฆ ็š„ ่ฟ ็ฎ—๏ผŒ
ไฝ†้‡‡็”จMCMC็š„ๆ–นๆณ•ๅฐฑๅพˆๅฅฝๅค„็†ใ€‚็”ฑไบŽ็›ฎๅ‰ๆˆ‘ไปฌ้œ€่ฆ่งฃๅ†ณ็š„้—ฎ้ข˜ๆ˜ฏ
โˆ‚E(v,h)
โˆ‚ฮธ
ๅœจๅˆ†
ๅธƒp(v, h)ไธ‹็š„ๆœŸๆœ›๏ผŒๆ นๆฎๅผ(3-7)ไธญๅฏน่ƒฝ้‡ๅ‡ฝๆ•ฐE(v, h)็š„ๅฎšไน‰๏ผŒๅๅฏผๆ•ฐ้žๅธธๅฎนๆ˜“ๆฑ‚
ๅ–ใ€‚ๅฆ‚ๆžœๆˆ‘ไปฌ่ƒฝๅœจp(v, h)ไธญ้‡‡ๆ ทๅ‡บๅคšไธชๆ ทๆœฌ๏ผŒ้‚ฃไนˆ่ฟ™ไธช้—ฎ้ข˜ไพฟ่ฟŽๅˆƒ่€Œ่งฃใ€‚ไฝ†้‡‡
ๆ ทp(v, h)ๆ˜ฏไธ€ไปถๅ›ฐ้šพ็š„ไบ‹๏ผŒๅนธ่ฟ็š„ๆ˜ฏ๏ผŒๆˆ‘ไปฌ็Ÿฅ้“p(v, h)็š„ๆกไปถๆฆ‚็Ž‡p(v|h)ไปฅๅŠp(h|v)๏ผŒ
ๅณๅผ(3-22)ๅ’Œๅผ(3-23)๏ผŒๅ› ๆญคๆˆ‘ไปฌๅฎŒๅ…จๅฏไปฅ้€š่ฟ‡Gibbs้‡‡ๆ ท๏ผŒ็ป่ฟ‡ๅคšๆฌก็Šถๆ€่ฝฌ็งปๅŽ้‡‡
ๆ ทๅ‡บไธ€ไธชๆ ทๆœฌ๏ผŒๅ†ไปฅๅŒๆ ท็š„ๆ–นๆณ•้‡‡ๆ ทๅ‡บๅคšไธชๆ ทๆœฌ๏ผŒๅˆฉ็”จ่ฟ™ๅคšไธชๆ ทๆœฌ๏ผŒๅŠ ไปฅๅผ(4-5)๏ผŒ
ไพฟๅฏไปฅ็ฎ—ๅ‡บๆœŸๆœ›ๅ€ผ๏ผŒๆ•ดไธช้—ฎ้ข˜ไพฟ่งฃๅ†ณไบ†ใ€‚
- 34 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
4.7 ๅฏนๆฏ”็ฆปๅทฎ
ๅฐฝ็ฎก็ฌฌไธ‰็ซ ้—็•™็š„้—ฎ้ข˜ๅฏไปฅ้€š่ฟ‡Gibbs้‡‡ๆ ท่งฃๅ†ณ๏ผŒไฝ†ไบ‹ๅฎžไธŠ๏ผŒๆญฃๅฆ‚ๆˆ‘ไปฌๅ‰้ขๆ
ๅŠๅˆฐ็š„๏ผŒ้ฉฌๅฐ”ๅฏๅคซ้“พ่ฟ›ๅ…ฅๅนณ็จณๅˆ†ๅธƒ็š„ๆ—ถ้—ด้šพไปฅ็กฎๅฎšใ€‚ๆˆ‘ไปฌ็Ÿฅ้“๏ผŒ้ฉฌๅฐ”ๅฏๅคซ้“พ็š„ๅˆ
ๅง‹็Šถๆ€ๅฏนๅนณ็จณๅˆ†ๅธƒๅœจๆ€ง่ดจไธŠๆ˜ฏๆฒกๆœ‰ๅฝฑๅ“็š„๏ผŒไฝ†ๆ˜ฏไธๅŒ็š„ๅˆๅง‹็Šถๆ€ไผšๅฝฑๅ“่ฟ›ๅ…ฅๅนณ็จณ
ๅˆ†ๅธƒ็š„ๆ—ถ้—ดใ€‚ๅฐฑๅฆ‚ๅŒๅพ€ๆฑค้‡ŒๅŠ ็›๏ผŒๅœจไธๅŒ็š„ไฝ็ฝฎๆ’’ไธ‹ๅนถไธไผšๅฝฑๅ“ๆœ€ๅŽ็š„ๅ’ธๆทก๏ผŒไฝ†
ไผšๅฝฑๅ“็›ๅœจๆฐดไธญ็š„ๆ‰ฉๆ•ฃ้€Ÿๅบฆ๏ผŒGibbs้‡‡ๆ ทไนŸๅŒ็†๏ผŒไธๅŒ็š„ๅˆๅง‹ๅ€ผๅฏนๆ”ถๆ•›้€Ÿๅบฆๆœ‰ๅฝฑ
ๅ“ใ€‚ๅฆ‚ๆžœๅˆๅง‹ๅ€ผ้šๆœบ่ฎพ็ฝฎ๏ผŒๅˆ™ๆจกๅž‹็š„่ฎญ็ปƒ้€Ÿๅบฆๅๅˆ†็ผ“ๆ…ขใ€‚Hintonๆๅ‡บไบ†ไธ€็งๅไธบ
ๅฏนๆฏ”็ฆปๅทฎ
[28]
๏ผˆContrastive Divergence๏ผŒCD๏ผ‰็š„ๆ–นๆณ•๏ผŒๅ…ถไธญๅฟƒๆ€ๆƒณๆ˜ฏ๏ผš ๆ—ข็„ถๆ•ฐๆฎๅ‡บ
็Žฐไบ†๏ผŒ้‚ฃไนˆ่ฏดๆ˜Ž่ฟ™ไธชๆ•ฐๆฎๆ˜ฏๆŽฅ่ฟ‘ไบŽๅนณ็จณๅˆ†ๅธƒ็š„๏ผŒๅ› ๆญคๆˆ‘ไปฌไปคๅˆๅง‹ๅ€ผไธบ่ฏฅๆ•ฐๆฎๆ ทๆœฌ๏ผŒ
่ฟ›่กŒๅ‰ๅธƒๆ–ฏ้‡‡ๆ ท๏ผŒๆ‰€ไปฅ๏ผŒๅฏนๆฏ”็ฆปๅทฎ็ฎ—ๆณ•ๅฆ‚็ฎ—ๆณ•4-4ๆ‰€็คบใ€‚
Input: ๆกไปถๅˆ†ๅธƒp(h|v)ๅ’Œp(v|h)๏ผ›่ฟญไปฃๆฌกๆ•ฐk
Output: 1ไธช้‡‡ๆ ทๆ ทๆœฌv
(k)
1 ่ฎพ็ฝฎๅˆๅง‹็Šถๆ€x
(0)
= data๏ผŒi = 0;
2 repeat
3 ้‡‡ๆ ทๅ‡บh
(i)
โˆผ P(h|v
(i)
)
4 ้‡‡ๆ ทๅ‡บv
(i+1)
โˆผ P(v|h
(i)
)
5 until i = k;
6 ่ฟ”ๅ›žv
(k)
็ฎ—ๆณ• 4-4 CD-k็ฎ—ๆณ•
็ฎ—ๆณ•4-4ไนŸ่ขซ็งฐไธบCD-k็ฎ—ๆณ•๏ผŒ้š็€k็š„ๅขžๅคง๏ผŒ้‡‡ๆ ทๅพ—ๅˆฐ็š„ๆ ทๆœฌ่ถŠๆŽฅ่ฟ‘ไบŽๆจกๅž‹็š„
ๅนณ็จณๅˆ†ๅธƒ๏ผŒไฝ†ๅœจๅฎž้ชŒไธญ๏ผŒk = 1็š„ๆ—ถๅ€™ๅทฒ็ป่ƒฝ่Žทๅพ—ๅพˆไธ้”™็š„็ป“ๆžœ๏ผŒๅ› ๆญคๆˆ‘ไปฌๅพ€ๅพ€
ไปคk = 1ใ€‚่€Œๅพ—ๅˆฐๆœ€็ปˆ็š„้‡‡ๆ ทๆ ทๆœฌv
(k)
ๅŽ๏ผŒๅฏนๆ•ฐไผผ็„ถ็š„ๆขฏๅบฆ่ฟ‘ไผผไธบ
โˆ‚ ln P(v)
โˆ‚w
i, j
โ‰ˆ P(h
i
= 1|v
(0)
)v
(0)
j
โˆ’ P(h
i
= 1|v
(k)
)v
(k)
j
(4-43)
โˆ‚ ln P(v)
โˆ‚b
vi
โ‰ˆ v
(0)
j
โˆ’ v
(k)
j
(4-44)
โˆ‚ ln P(v)
โˆ‚b
i
โ‰ˆ P(h
i
= 1|v
(0)
) โˆ’ P(h
i
= 1|v
(k)
) (4-45)
CD-k็ฎ—ๆณ•ๅฏไปฅ่ฎคไธบๆ˜ฏๅˆฉ็”จ
CD
k
= โˆ’
๎˜
h
P(h|v
(0)
)
โˆ‚E(v
(0)
, h)
โˆ‚ฮธ
+
๎˜
h
P(h|v
(k)
)
โˆ‚E(v
(k)
, h)
โˆ‚ฮธ
(4-46)
- 35 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ๆฅ่ฟ‘ไผผ
[29]
โˆ‚P(v)
โˆ‚ฮธ
= โˆ’
๎˜
h
P(h|v
(0)
)
โˆ‚E(v
(0)
, h)
โˆ‚ฮธ
+
๎˜
v,h
P(v, h)
โˆ‚E(v, h)
โˆ‚ฮธ
(4-47)
ๅˆฉ็”จCD-k๏ผŒๅฏไปฅๅพˆ้ซ˜ๆ•ˆๅœฐๆฑ‚ๅพ—ๅ‚ๆ•ฐ็š„ๅขž้‡โˆ†Wใ€โˆ†b
v
ไปฅๅŠโˆ†b
h
๏ผŒไปŽ่€Œ่ฎญ็ปƒๅ—้™็Žปๅฐ”
ๅ…นๆ›ผๆœบๆฅๅˆป็”ปๆ•ฐๆฎ็š„ๅˆ†ๅธƒใ€‚
4.8 ๆœฌ็ซ ๅฐ็ป“
ๆœฌ็ซ ไปŽ่’™็‰นๅก็ฝ—็š„ๆ ธๅฟƒๆ€ๆƒณ่ฏด่ตท๏ผŒๅผ•ๅ…ฅ่ˆๅผƒ้‡‡ๆ ท๏ผŒ็”ฑไบŽ่ˆๅผƒ้‡‡ๆ ท็š„ๆ่ฎฎๅˆ†ๅธƒ
ๅ—ๅˆฐไธ€ไธช็บฆๆŸ๏ผŒไธบๆญคๆˆ‘ไปฌๅˆๅผ•ๅ…ฅ้‡่ฆๆ€ง้‡‡ๆ ทใ€‚ๆ— ่ฎบๆ˜ฏ้‡่ฆๆ€ง้‡‡ๆ ทๆˆ–ๆ˜ฏ่ˆๅผƒ้‡‡ๆ ท๏ผŒ
้ƒฝๅฑžไบŽ้žๅ…ณ่”้‡‡ๆ ท๏ผŒๅ› ๆญคๆˆ‘ไปฌๅผ•ๅ…ฅ้ฉฌๅฐ”ๅฏๅคซ้“พ๏ผŒๅพ—ๅˆฐไธ€ไธชๅ…ณ่”้‡‡ๆ ทๆ–นๆณ•๏ผŒๅณMH้‡‡
ๆ ทใ€‚MH้‡‡ๆ ทๅœจ้ซ˜็ปด็ฉบ้—ดไธญๆ•ˆๆžœๅนถไธๅฅฝ๏ผŒไธ”ๅญ˜ๅœจๆŽฅๅ—ๆฆ‚็Ž‡ไฝฟ็ฎ—ๆณ•ๆ•ˆ็Ž‡่พƒไฝŽ๏ผŒไธบๆญค
ๆˆ‘ไปฌๅผ•ๅ…ฅ็”จไบŽ่งฃๅ†ณ้ซ˜็ปด้—ฎ้ข˜ไธ”ไธๅญ˜ๅœจๆŽฅๅ—ๆฆ‚็Ž‡็š„Gibbs้‡‡ๆ ท๏ผŒ้€š่ฟ‡Gibbs้‡‡ๆ ทๅฏไปฅ
็ฌฌไธ‰็ซ ็š„ๆœŸๆœ›้—ฎ้ข˜๏ผŒไฝ†Gibbs็š„ๆ”ถๆ•›้€Ÿๅบฆไพ่ต–ไบŽๅˆๅง‹ๅ€ผ็š„่ฎพๅฎš๏ผŒไธบไบ†้€‰ๅ–ไธ€ไธช่พƒๅฅฝ
็š„ๅˆๅง‹ๅ€ผ๏ผŒไนŸไธบไบ†ๅŠ ๅฟซ็ฎ—ๆณ•็š„ๆ”ถๆ•›้€Ÿๅบฆ๏ผŒๆˆ‘ไปฌๅผ•ๅ…ฅไบ†ๅฏนๆฏ”็ฆปๅทฎๆ–นๆณ•ใ€‚้€š่ฟ‡ๅฏนๆฏ”็ฆป
ๅทฎ๏ผŒๅฏไปฅ้ซ˜ๆ•ˆ็š„่งฃๅ†ณ็ฌฌไธ‰็ซ ไธญ็š„ๆœŸๆœ›้—ฎ้ข˜ใ€‚ไบ‹ๅฎžไธŠ๏ผŒ้ฉฌๅฐ”ๅฏๅคซ้“พ่’™็‰นๅก็ฝ—ๆ–นๆณ•ๅ…ถ
ๆฝœๅŠ›ๅนถไธไป…ๅฑ€้™ไบŽๆญค๏ผŒ่ฟ™ๅฅ—ๆ–นๆณ•ๅœจๆœบๅ™จๅญฆไน ไธญ่ฟ˜ๆœ‰ๆ›ดไธบๅนฟๆณ›็š„ๅบ”็”จ๏ผŒ็„ถ่€Œๆˆ‘ไปฌๅนถ
ๆฒกๆœ‰ๆถ‰ๅŠใ€‚่‡ณๆญค๏ผŒๅ—้™็Žปๅฐ”ๅ…นๆ›ผๆœบ็š„ๅ†…ๅฎน่ฎจ่ฎบๅฎŒๆฏ•๏ผŒ้€š่ฟ‡ไธ€ไธช่ฎญ็ปƒๅฅฝ็š„
RBM
๏ผŒๅฐฑ
ๅฏไปฅๅˆป็”ปๆ•ฐๆฎ็š„ๅˆ†ๅธƒใ€‚ไฝ†็›ฎๅ‰็š„่ฎจ่ฎบๅนถๆฒกๆœ‰่ฟ›ๅ…ฅๅˆฐๆ ธๅฟƒๅ†…ๅฎน๏ผŒๆˆ‘ไปฌไปๆฒกๆœ‰่ฎจ่ฎบ่ฏ†
ๅˆซ๏ผŒๆˆ–่€…่ฏดๅˆ†็ฑป้—ฎ้ข˜ใ€‚ๅœจ็ฌฌไบ”็ซ ไธญ๏ผŒๆˆ‘ไปฌๅฐ†ไป‹็ปๅฆ‚ไฝ•็”จๅคšไธชRBMไฝœไธบ็ –ๅ—ๅž’ๅ‡บไธ€
ไธชๆทฑๅบฆ็ฝฎไฟก็ฝ‘็ปœ๏ผŒๅนถ็”จ่ฟ™ไธช็ฝ‘็ปœ่ฟ›่กŒๅ›พๅƒ่ฏ†ๅˆซใ€‚
- 36 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
็ฌฌ 5 ็ซ  ๆทฑๅบฆ็ฝฎไฟก็ฝ‘็ปœ
ๆทฑๅบฆ็ฝฎไฟก็ฝ‘็ปœๆ˜ฏ็”ฑHintonไบŽ2006ๅนดๆๅ‡บ็š„ไธ€็งๆทฑๅบฆๅ…จ่ฟžๆŽฅ็ฅž็ป็ฝ‘็ปœ๏ผŒๅ…จ่ฟžๆŽฅ
็š„ๆทฑๅบฆ็ฅž็ป็ฝ‘็ปœ็š„่ฎญ็ปƒๆ˜ฏๅŠๅ…ถๅ›ฐ้šพ็š„๏ผŒ็„ถ่€Œๅœจๆทฑๅบฆ็ฝฎไฟก็ฝ‘็ปœไธญ๏ผŒๆˆ‘ไปฌ้‡‡็”จ็ฝ‘็ปœ็š„
้€ๅฑ‚่ฎญ็ปƒ๏ผŒ้šๅŽๅฏน็ฝ‘็ปœๅ‚ๆ•ฐ็š„ๅพฎ่ฐƒ๏ผŒ่ฟ™็ง็ญ–็•ฅไฝฟๅพ—ๆˆ‘ไปฌๅฏไปฅๅฎนๆ˜“ๅœฐ่ฎญ็ปƒๅคšๅฑ‚็ฅž็ป
็ฝ‘็ปœใ€‚็”ฑไบŽๆทฑๅบฆ็ฝฎไฟก็ฝ‘็ปœๆœฌ่ดจๆ˜ฏไธ€็งไผ ็ปŸ็ฅž็ป็ฝ‘็ปœ็š„ๆŽจๅนฟ๏ผŒๅœจๆœฌ็ซ ไธญ๏ผŒๆˆ‘ไปฌๅฐ†ไปŽ
ไผ ็ปŸ็ฅž็ป็ฝ‘็ปœ่ฏด่ตท๏ผŒไป‹็ปๅ…ถ่ฎญ็ปƒๆ–นๆณ•๏ผŒ้€ๆญฅๅฐ†ๅ…ถๆŽจๅนฟๅˆฐๆทฑๅบฆ็ฝฎไฟก็ฝ‘็ปœใ€‚
5.1 ็ฅž็ป็ฝ‘็ปœ็ป„ๆˆๅŠ่กจ่พพ่ƒฝๅŠ›
ไธ€ไธช็ฅž็ป็ฝ‘็ปœๅพ€ๅพ€็”ฑๅคšๅฑ‚็ฅž็ปๅ…ƒ็ป„ๆˆ๏ผŒ็ฅž็ปๅ…ƒไฝœไธบ็ฝ‘็ปœ็š„ๅŸบๆœฌๅ•ๅ…ƒ๏ผŒๅœจ็ป™ๅฎš
ๆฐๅฝ“็š„ๆฟ€ๆดปๅ‡ฝๆ•ฐๅ’Œๆƒๅ€ผ็š„ๅ‰ๆไธ‹๏ผŒๅช่ฆ่ฟ™ไธช็ฝ‘็ปœ่ถณๅคŸๅบžๅคง๏ผŒ่ถณไปฅๅฎน็บณ่พƒๅคš็š„็ฅž็ป
ๅ…ƒ๏ผŒ้‚ฃไนˆ่ฟ™ไธช็ฝ‘็ปœๅฏไปฅ่กจ่พพไปปไฝ•ไธ€ไธช่ฟž็ปญๅ‡ฝๆ•ฐ
[30]
๏ผŒๅฝ“็„ถ่ฟ™ๅชๆ˜ฏไธ€ไธช็†่ฎบไธŠๆˆ็ซ‹็š„
็†ๆƒณๆƒ…ๅ†ต๏ผŒๅฎž้™…ๅทฅ็จ‹ไธญ๏ผŒๆˆ‘ไปฌๆฒกๆœ‰ๅŠžๆณ•ๅˆฉ็”จ็ฅž็ป็ฝ‘็ปœๆฅๆ่ฟฐๆ‰€ๆœ‰็š„ๅ‡ฝๆ•ฐ๏ผŒไฝ†ๆ˜ฏ่ฟ™
ไธชๅฎš็†่ƒฝไฝฟๆˆ‘ไปฌๅฏน็ฅž็ป็ฝ‘็ปœ็š„่กจ่พพ่ƒฝๅŠ›ๅ……ๆปกไฟกๅฟƒใ€‚
5.1.1 ็ฅž็ปๅ…ƒ
ไธ€ไธช็ฅž็ปๅ…ƒๅฆ‚ๅ›พ5-1 ๆ‰€็คบ๏ผŒๅฎƒๅŒ…ๅซdไธช่พ“ๅ…ฅx = [x
1
, x
2
ยทยทยท , x
d
]
T
ไปฅๅŠๅฏนๅบ”็š„dไธชๆƒ
ๅ€ผw = [w
1
, w
2
ยทยทยท , w
d
]
T
๏ผŒ่ฟ˜ๆœ‰ไธ€ไธชๅ็ฝฎbใ€‚ๆญคๅค–๏ผŒๅฎƒ่ฟ˜ๅบ”ๅŒ…ๆ‹ฌไธ€ไธชๆ‰ง่กŒ้ž็บฟๆ€งๆ˜ ๅฐ„
็š„ๆฟ€ๆดปๅ‡ฝๆ•ฐ f ( ยท )
ๅ›พ 5-1 ็ฅž็ปๅ…ƒ
ไธŽdไธช่พ“ๅ…ฅx = [x
1
, x
2
ยทยทยท , x
d
]
T
็›ดๆŽฅ็›ธ่ฟž็š„ๆ˜ฏๆ•ฐๆฎ็š„่พ“ๅ…ฅ๏ผŒไพ‹ๅฆ‚๏ผŒไธ€ๅผ 28 ร— 28ๅƒ
็ด ็š„็ฐๅบฆๅ›พๅƒไฝœไธบ็ฝ‘็ปœ่พ“ๅ…ฅ๏ผŒ็”ฑไบŽ่ฏฅๅ›พๅƒๅฏไปฅๅฑ•ๅผ€ๆˆ28 ร— 28 = 784็š„ๅˆ—ๅ‘้‡๏ผŒ
ๅ› ๆญค่ฟ™ไธชไพ‹ๅญไธญ็š„็ฅž็ปๅ…ƒๅฐฑๅบ”่ฏฅๆœ‰784ไธช่พ“ๅ…ฅ๏ผŒๅณx = [x
1
, x
2
ยทยทยท , x
784
]
T
ใ€‚dไธชๆƒ
ๅ€ผw = [w
1
, w
2
ยทยทยท , w
d
]
T
๏ผŒๅˆป็”ปไบ†dไธช่พ“ๅ…ฅx = [x
1
, x
2
ยทยทยท , x
d
]
T
็š„้‡่ฆๆ€ง๏ผŒwไธญ็š„ๆŸไธชๅˆ†
้‡w
i
่ถŠๅคง๏ผŒ่ฏดๆ˜Žๅฏนๅบ”็š„ๅˆ†้‡x
i
ๅฏนๆœ€ๅŽๅ†ณ็ญ–็ป“ๆžœ็š„ๅฝฑๅ“่ถŠๅคงใ€‚ไปŽ็”Ÿ็‰ฉๅญฆ็š„่ง’ๅบฆไธŠ็œ‹๏ผŒ
- 37 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
x็›ธๅฝ“ไบŽ็ป™ไบˆ็”Ÿ็‰ฉๅ„็งๅˆบๆฟ€๏ผŒw็›ธๅฝ“ไบŽ่ฏฅ็”Ÿ็‰ฉๅฏนๅ„็งๅˆบๆฟ€็š„ๆ•ๆ„Ÿๅบฆใ€‚ไพ‹ๅฆ‚๏ผŒๆˆ‘ไปฌๅˆฉ
็”จ็ฅž็ปๅ…ƒ่ฎพ่ฎกไธ€ไธชๅŒปๅญฆ่ฏŠๆ–ญ็ณป็ปŸๆฅๅˆคๅฎšไธ€ไธชไบบๆ˜ฏๅฆ้œ€่ฆไฝ้™ข่ง‚ๅฏŸ๏ผŒๅฏนไบŽ่ฏฅ็ฅž็ปๅ…ƒ๏ผŒ
ๅ‡่ฎพ่พ“ๅ…ฅไธบx = [ๅฟƒ่„็–ผ็—›, ๅคด็–ผ, ่…ฐ็–ผ]๏ผŒๅฆ‚ๆžœๆœ‰ๆŸไธช็—‡็Šถ๏ผŒๅˆ™ๅฏนๅบ”ไฝ็ฝฎ1๏ผŒๅฆๅˆ™็ฝฎ0ใ€‚
ๆ˜พ็„ถ๏ผŒ่‹ฅไธ€ไธชไบบๅฟƒ่„็–ผ็—›๏ผŒๆˆ‘ไปฌๆ›ดๅ€พๅ‘ไบŽ่ฎฉไป–ไฝ้™ข่ง‚ๅฏŸ๏ผŒๅ› ๆญคๆˆ‘ไปฌไธบๅฟƒ่„็–ผ็—›ๅฏน
ๅบ”็š„ๆƒๅ€ผ่ฎพๅฎšไธ€ไธช่พƒๅคง็š„ๆƒๅ€ผw
1
= 0.9๏ผŒๅคด็–ผๆฌกไน‹๏ผŒๆˆ‘ไปฌ่ฎพๅฎšไธบw
2
= 0.5๏ผŒๅฝ“ไธ€ไธช
ไบบ่…ฐ็–ผๆ—ถ๏ผŒไธๅคชๅฏ่ƒฝ้œ€่ฆไฝ้™ขๆฒป็–—๏ผŒๆˆ‘ไปฌไธบๅ…ถ่ฎพๅฎšไธ€ไธช่พƒๅฐ็š„ๅ็ฝฎw
3
= 0.1ใ€‚ๅ› 
ๆญค๏ผŒ่ฟ™ไธช็ฅž็ปๅ…ƒ็š„ๆƒๅ€ผไธบ
w = [0.9, 0.5, 0.1]
T
(5-1)
ๅ‡่ฎพ็Žฐๅœจๆœ‰ไธ€ไฝๆ‚ฃ่€…ๆฅๅˆฐๅŒป้™ข๏ผŒไป–ๆ—ขๆœ‰ๅคด็–ผๅˆๆœ‰ๅฟƒ่„็–ผ็—›็š„็—‡็Šถ๏ผŒ้‚ฃไนˆ่ฟ™ไฝ
ๆ‚ฃ่€…ๅฏไปฅ่กจ็คบไธบๅ‘้‡
x = [1, 0, 1]
T
(5-2)
ๆญคๆ—ถ๏ผŒ็—…ๆƒ…็งฏ็ดฏ็š„ไธฅ้‡ๆ€งไธบ
w
T
x = 0.1 + 0.9 = 1 (5-3)
้‚ฃไนˆ่ฟ™ไฝๆ‚ฃ่€…ๆ˜ฏๅฆ้œ€่ฆไฝ้™ขๅ‘ข๏ผŸ ไธบๆญค๏ผŒๆˆ‘ไปฌๅˆฉ็”จๅ‰้ขๆๅŠๅˆฐ็š„ๅ็ฝฎbๆฅๅˆป็”ป่ฟ™ไปถ
ไบ‹ใ€‚ๅ‡่ฎพb = 0.7๏ผŒๅฆ‚ๆžœw
T
x > b๏ผŒๅˆ™่ฏดๆ˜Ž่ฟ™ไฝๆ‚ฃ่€…ๆ‚ฃๆœ‰ไธฅ้‡็š„็–พ็—…๏ผŒ้œ€่ฆไฝ้™ข่ง‚
ๅฏŸ๏ผŒ็ฝ‘็ปœ่พ“ๅ‡บy = 1๏ผŒๅฆๅˆ™่ฟ™ไฝๆ‚ฃ่€…ไธ้œ€่ฆไฝ้™ข๏ผŒ็ฝ‘็ปœ่พ“ๅ‡บy = 0ใ€‚ๅฆ‚ๆžœๆˆ‘ไปฌๅฎšไน‰ไธบ
็ฅž็ปๅ…ƒ็š„ๅ‡€ๆฟ€ๆดปไธบ
net = w
T
x + b (5-4)
ๅ‡€ๆฟ€ๆดปๅฏไปฅ็†่งฃไธบๆŽ’้™คๅ็ฝฎๅนฒๆ‰ฐๅŽ็ฅž็ปๅ…ƒๆŽฅๆ”ถๅˆฐ็š„ๅˆบๆฟ€ๆ€ปๅ’Œใ€‚้‚ฃไนˆไธŠ่ฟฐๅˆคๅˆซ่ฟ‡็จ‹
็›ธๅฝ“ไบŽ็”จไธ€ไธช้˜ถ่ทƒๅ‡ฝๆ•ฐๅฏนๅ‡€ๆฟ€ๆดปไฝœไธ€ไธช้ž็บฟๆ€งๆ˜ ๅฐ„๏ผŒๅณ
y = f (net) =
๏ฃฑ
๏ฃด
๏ฃด
๏ฃด
๏ฃฒ
๏ฃด
๏ฃด
๏ฃด
๏ฃณ
1 ่‹ฅw
T
x โˆ’ b > 0
0 ๅ…ถไป–
(5-5)
ๅ…ถไธญ๏ผŒ็”ฑ ไบŽbๆ˜ฏไธ€ไธช ๅธธๆ•ฐ๏ผŒๅ› ๆญคw
T
x + bไธŽw
T
x โˆ’ bๅนถ ๆฒกๆœ‰ๅŒบ ๅˆซใ€‚ไฝ†ๅฎž้™… ไธŠ๏ผŒ
b = 0.7ๆ—ถ็š„็ฅž็ปๅ…ƒๅšๅ‡บ็š„ๅ†ณ็ญ–๏ผŒๅ…ถ็ป“ๆžœๅช็”ฑๅฟƒ่„็–ผ็—›่ฟ™ไธชๅ› ็ด ๅ†ณๅฎš๏ผŒๅ› ไธบๅฆ‚ๆžœไธ€
ไธชๆ‚ฃ่€…ๆฒกๆœ‰ๅฟƒ่„็–ผ็—›๏ผŒ้‚ฃไนˆๆœ€ๅคง็š„ๅ‡€ๆฟ€ๆดปๆ˜ฏๅœจไป–ๅณๆ‚ฃๆœ‰ๅคด็–ผๅˆๆ‚ฃๆœ‰่…ฐ็–ผ็š„ๆƒ…ๅ†ตไธ‹
ๅ–ๅพ—๏ผŒๆญคๆ—ถw
T
x = 0.6ใ€‚่€Œ0.6 < 0.7๏ผŒๅนถไธไผš่ฎฉไป–ไฝ้™ขใ€‚ๅ› ๆญค๏ผŒไธŠ้ข็š„็ฅž็ปๅ…ƒ๏ผŒ่ฝฌ
ๆขๆˆ็ญ‰ไปท็š„้€ป่พ‘ๅ‘ฝ้ข˜ไพฟๆ˜ฏ๏ผšๅฆ‚ๆžœไธ€ไธชไบบ็š„็—‡็Šถไธญๅซๆœ‰ๅฟƒ่„็–ผ็—›๏ผŒๅˆ™้œ€่ฆไฝ้™ข๏ผŒๅฆ
ๅˆ™ไธ้œ€่ฆไฝ้™ขใ€‚ๅฆ‚ๆžœๆˆ‘ไปฌๆŠŠๅ็ฝฎ่ฐƒไฝŽ๏ผŒๅฆb = 0.55๏ผŒๅˆ™ๆญคๆ—ถ็ญ‰ไปท็š„้€ป่พ‘ๅ‘ฝ้ข˜ไธบ๏ผšๅฆ‚
ๆžœไธ€ไธชไบบ็š„็—‡็Šถไธญๅซๆœ‰ๅฟƒ่„็–ผ็—›๏ผŒๆˆ–่€…็—‡็Šถไธญๆ—ขๅซๆœ‰ๅคด็—›ๆœ‰ๅซๆœ‰่…ฐ็–ผ๏ผŒๅˆ™้œ€่ฆไฝ
้™ข๏ผŒๅฆๅˆ™ไธ้œ€่ฆไฝ้™ขใ€‚็ปผๅˆไปฅไธŠ่ฎจ่ฎบ๏ผŒๅ็ฝฎ่ตทๅˆฐ็š„ๆ˜ฏ้˜ˆๅ€ผ็š„ไฝœ็”จ๏ผŒไฝ†ๆ˜ฏ่ฟ™ไธช้˜ˆๅ€ผ
ๅ–ๅคšๅฐ‘ๅฐฑๆ˜ฏ่ฎพ่ฎก่€…็š„ๆ„ๆ„ฟไบ†๏ผŒไธๅŒ็š„้˜ˆๅ€ผไธ€่ˆฌๆƒ…ๅ†ตไธ‹ไผš็ญ‰ไปทไบŽไธๅŒ็š„้€ป่พ‘ๅ‘ฝ้ข˜๏ผŒ
- 38 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
่ฟ™ๅ–ๅ†ณไบŽ็ณป็ปŸ็š„ๆœŸๆœ›่พ“ๅ‡บๆ˜ฏไป€ไนˆใ€‚
็ฅž็ปๅ…ƒๆ€ป่ƒฝ่ฝฌๆขๆˆไธ€ไธชๅฏนๅบ”็š„้€ป่พ‘่กจ่พพ๏ผŒ้œ€่ฆๆๅ‡บ็š„ไธ€ไธชๅ› ๆžœๅ…ณ็ณปๆ˜ฏ๏ผŒๆˆ‘ไปฌ
ๅนถไธๆ˜ฏไปŽ้€ป่พ‘่กจ่พพไธญๆŽจๅ‡บ็ฅž็ปๅ…ƒ็š„ๅ‚ๆ•ฐ๏ผŒ่€Œๆ˜ฏไปŽ็ฅž็ปๅ…ƒ็š„ๅ‚ๆ•ฐไธญๅฏไปฅๅพ—ๅˆฐไธ€ไธช้€ป
่พ‘่กจ่พพใ€‚็ฅž็ปๅ…ƒ็š„ไผ˜็‚นๅœจไบŽ๏ผŒ้€š่ฟ‡ไธ€ไธช็ฅž็ปๅ…ƒ๏ผŒไพฟๅฏไปฅๅฎž็Žฐไธ€ไธช็ฎ€ๅ•็š„ๅ†ณ็ญ–๏ผŒๅฆ‚
ๆžœๆ‹ฅๆœ‰ๆ›ดๅคš็š„็ฅž็ปๅ…ƒ๏ผŒๅฐ†ไป–ไปฌ็ป„ๅˆ่ตทๆฅๅฝขๆˆไธ€ไธช็ฅž็ป็ฝ‘็ปœ๏ผŒไพฟๅฏไปฅๅฎž็Žฐๆ›ดไธบๅคๆ‚
็š„ๅ†ณ็ญ–่กŒไธบใ€‚่ฟ™ไธชๅ†ณ็ญ–็š„ๅ› ๆžœๅ…ณ็ณปๆ˜ฏ็”ฑๅ‚ๆ•ฐๅ†ณๅฎš็š„๏ผŒๅŽ้ขๆˆ‘ไปฌๅฐ†ไผš็œ‹ๅˆฐ๏ผŒๅ‚ๆ•ฐๆ˜ฏ
้€š่ฟ‡็ปŸ่ฎกๅญฆไน ๅญฆๅˆฐ็š„๏ผŒๅ› ๆญคๅœจ็ฅž็ป็ฝ‘็ปœไธญ๏ผŒๆˆ‘ไปฌไธ้œ€่ฆๅฏนไบ‹็‰ฉ็š„ๅ› ๆžœๅ…ณ็ณป่ฟ›่กŒๅˆ†
ๆž๏ผŒๅช้œ€่ฆไฝฟ็”จๅคง้‡็š„ๆ•ฐๆฎ่ฎฉ็ฝ‘็ปœๅญฆไน ๅ…ถไธญ็š„ๅ› ๆžœๅ…ณ็ณป๏ผŒ่ฟ™ไบ›ๅ› ๆžœๅ…ณ็ณปๅฏนไบŽๆˆ‘ไปฌ
่€Œ่จ€ๆ˜ฏ้€ๆ˜Ž็š„ใ€‚
5.1.2 ้€ป่พ‘่กจ่พพ
ๅœจๆœฌๅฐ่Š‚๏ผŒๆˆ‘ไปฌๅฐ†ๅ†ไธ€ๆฌก่ฎจ่ฎบ็ฝ‘็ปœ็š„้€ป่พ‘่กจ่พพ่ƒฝๅŠ›๏ผŒๅฆ‚ๅ›พ5-2 ๆ‰€็คบ็š„ไธ€ไธชๆŽฅๆ”ถ
ไธค็ปด่พ“ๅ…ฅ็š„็ฅž็ปๅ…ƒ๏ผŒๅ…ถๅ็ฝฎw = [โˆ’2, โˆ’2]
T
๏ผŒๅ็ฝฎb = 3
ๅ›พ 5-2 ไธŽ้ž้—จ็š„็ฅž็ปๅ…ƒ่กจ่พพ
ๅฆ‚ๆžœๆˆ‘ไปฌ็š„่พ“ๅ…ฅ่‡ณๅฐ‘ๆœ‰ไธ€ไธชไธบๅ‡๏ผŒๅณx = [0, 0]
T
ๆˆ–x = [1, 0]
T
ๆˆ–x = [0, 1]
T
๏ผŒๅˆ™
็ฝ‘็ปœ็š„่พ“ๅ‡บไธบ็œŸ๏ผŒๅณy = 1๏ผŒ่‹ฅไธคไธช่พ“ๅ…ฅ้ƒฝไธบ็œŸ๏ผŒๅณx = [1, 1]
T
๏ผŒๅˆ™็ฝ‘็ปœ็š„่พ“ๅ‡บไธบ
ๅ‡๏ผŒๅณy = 0ใ€‚ไบ‹ๅฎžไธŠ๏ผŒๅ›พ5-2็ญ‰ไปทไบŽ้€ป่พ‘็”ต่ทฏไธญ็š„ไธŽ้ž้—จ๏ผŒๅณ
y = x
1
ยท x
2
(5-6)
็”ฑไบŽไธŽ้ž้—จๆ˜ฏ้€š็”จ้—จ๏ผŒๅˆฉ็”จๅคšไธชไธŽ้ž้—จๅฏไปฅๆž„ๅปบๅ‡บไธ‰ๅคง้€ป่พ‘้—จ๏ผšไธŽ้—จใ€ๆˆ–้—จใ€้ž
้—จใ€‚ๅ› ๆญค๏ผŒๅˆฉ็”จๅ›พ5-2ไธญ็š„็ฅž็ปๅ…ƒๅฏไปฅ่กจ่พพไปปๆ„ไธ€ไธช้€ป่พ‘ๅ‡ฝๆ•ฐใ€‚ไพ‹ๅฆ‚๏ผŒๅœจๅŠๅŠ ๅ™จ
ไธญ๏ผŒๅ…ถ้€ป่พ‘ๅ‡ฝๆ•ฐไธบ
y
1
= x
1
โŠ• x
2
(5-7)
y
2
= x
1
ยท x
2
(5-8)
ๅˆฉ็”จไธŽ้ž้—จๆญๅปบ็š„็”ต่ทฏๅ›พๅฆ‚ๅ›พ5-3 a)ๆ‰€็คบ๏ผŒ่€Œๅฐ†ๅ…ถ่ฝฌๆขๆˆๅฏนๅบ”็š„็ฅž็ป็ฝ‘็ปœๅฆ‚ๅ›พ5-3
- 39 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
b)ๆ‰€็คบ
1
ใ€‚
a) ็”ฑไธŽ้ž้—จๆญๅปบ็š„ๅŠๅŠ ๅ™จ b) ็”ฑ็ฅž็ปๅ…ƒๆญๅปบ็š„ๅŠๅŠ ๅ™จ
ๅ›พ 5-3 ๅŠๅŠ ๅ™จ็š„ไธค็งไธๅŒๆ่ฟฐ
ๆˆ‘ไปฌไน‹ๆ‰€ไปฅ่Šฑ่ดน็ฏ‡ๅน…ๅŽปไป‹็ป็ฅž็ปๅ…ƒ็š„่กจ่พพ่ƒฝๅŠ›๏ผŒๆ˜ฏไธบไบ†่ฏดๆ˜Ž็ฅž็ป็ฝ‘็ปœ็กฎๅฎž่ƒฝ
ๅฎž็Žฐไธ€ไบ›้€ป่พ‘ๅ†ณ็ญ–๏ผŒไฝ†ๅนถไธๆ„ๅ‘ณ็€็ฝ‘็ปœ็š„ๆƒๅ€ผ้œ€่ฆๆˆ‘ไปฌๆ‰‹ๅทฅ่ฎพๅฎš็š„ใ€‚่ฟ™้‡Œ็š„ๆƒๅ€ผ
ไน‹ๆ‰€ไปฅ่ฆๆ‰‹ๅทฅ่ฎพๅฎš๏ผŒๆ˜ฏๅ› ไธบๆˆ‘ไปฌ็ฒพๅฟƒ็ญ›้€‰ๅ‡บๆฅ็”จไปฅ้˜่ฟฐ็ฅž็ป็ฝ‘็ปœ็š„่กจ่พพ่ƒฝๅŠ›๏ผŒไฝ†
ๅฎž้™…ๅบ”็”จไธญ๏ผŒๆƒๅ€ผๆ˜ฏ้€š่ฟ‡่ฏฏๅทฎไผ ๆ’ญ่‡ชๅŠจๅญฆไน ็š„๏ผŒๅญฆไน ๅˆฐ็š„ๆƒๅ€ผ๏ผŒๅ…ถๅฏนๅบ”็š„้€ป่พ‘ๅ‘ฝ
้ข˜ๅฏนไบŽไบบ็ฑป่€Œ่จ€ๆ˜ฏ้šพไปฅ็†่งฃ็š„๏ผŒไฝ†่ฟ™ๅนถไธ้‡่ฆ๏ผŒๅ› ไธบๆˆ‘ไปฌ้œ€่ฆ็š„ๆ˜ฏไป…ไป…ๅ†ณ็ญ–็ป“ๆžœ๏ผŒ
่€Œไธๆ˜ฏ่ฟ™ไธชๅ†ณ็ญ–ๆ˜ฏๅฆ‚ไฝ•ไบง็”Ÿ็š„ๅ› ๆžœๅ…ณ็ณปใ€‚
5.2 ็ฅž็ป็ฝ‘็ปœ็š„ๅ‰้ฆˆ
ไธ€่ˆฌ่€Œ่จ€๏ผŒ็ฅž็ป็ฝ‘็ปœๆ˜ฏไธ€ไธชๅคšๅฑ‚็ป“ๆž„็ป„็ป‡๏ผŒ็ฝ‘็ปœ็š„ๆฏไธ€ๅฑ‚้ƒฝ็”ฑๅคšไธช็ฅž็ปๅ…ƒ็ป„
ๆˆ๏ผŒๅŽไธ€ๅฑ‚็š„็ฅž็ปๅ…ƒ็”ฑๅ‰ไธ€ๅฑ‚็š„็ฅž็ปๅ…ƒๆฟ€ๆดปใ€‚ๅŒไธ€ๅฑ‚็š„็ฅž็ปๅ…ƒไน‹้—ดๆฒกๆœ‰่ฟžๆŽฅ๏ผŒๅ› 
ๆญคๅŒไธ€ๅฑ‚่Š‚็‚น็š„ๆฟ€ๆดปๆ˜ฏ็‹ฌ็ซ‹็š„ใ€‚็ฅž็ป็ฝ‘็ปœๆŽฅๆ”ถๅˆฐไธ€ไธชๆ•ฐๆฎๅŽ๏ผŒ้€ๅฑ‚ๅœฐๆฟ€ๆดปๅ„ๅฑ‚็š„
็ฅž็ปๅ…ƒ๏ผŒๅ‰ไธ€ๅฑ‚็š„่พ“ๅ‡บไฝœไธบๅŽไธ€ๅฑ‚็š„่พ“ๅ…ฅ๏ผŒๆœ€ๅŽๅพ—ๅˆฐไธ€ไธช่พ“ๅ‡บ็ป“ๆžœใ€‚่ฟ™ไธช่ฟ‡็จ‹็งฐ
ไธบ็ฅž็ป็ฝ‘็ปœ็š„ๅ‰้ฆˆๆˆ–ๅ‰ๅ‘ไผ ๆ’ญใ€‚
ๅ›พ 5-4 ็ฅž็ป็ฝ‘็ปœ็š„ๅ‰้ฆˆ
1
ๅ›พไธญ๏ผŒไธบไบ†็พŽ่ง‚๏ผŒๆˆ‘ไปฌๅนถๆฒกๆœ‰ๅฐ†ๅ็ฝฎ็”ปๅ‡บๆฅ
- 40 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ๅฆ‚ๅ›พ5-4ๆ‰€็คบๆ˜ฏไธ€ไธชไธ‰ๅฑ‚็ฅž็ป็ฝ‘็ปœ๏ผŒ็”ฑไบŽ็ฅž็ปๆฟ€ๆดปๆ˜ฏ่‡ชๅบ•ๅ‘ไธŠไผ ๆ’ญ็š„๏ผŒๅฆ‚ๆžœๅ„
ๅฑ‚็š„ๆฟ€ๆดปๅ‡ฝๆ•ฐ้ƒฝ็›ธๅŒ๏ผŒไธบ f ( ยท )๏ผŒๅˆ™็ฝ‘็ปœ็š„็ฌฌkไธช่Š‚็‚น็š„่พ“ๅ‡บไธบ
z
k
= f
๎€”
n
y
๎˜
j=1
w
k j
f (
n
x
๎˜
i=1
w
ji
) + b
j
) + b
k
๎€•
(5-9)
ๅผไธญ๏ผŒw
k j
ไธบyๅฑ‚็š„็ฌฌ jไธช่Š‚็‚นๅˆฐzๅฑ‚็š„็ฌฌkไธช่Š‚็‚นไน‹้—ด็š„่ฟžๆŽฅๆƒๅ€ผ๏ผŒw
ji
ไธบxๅฑ‚็š„็ฌฌiไธช
่Š‚็‚นๅˆฐyๅฑ‚็š„็ฌฌ jไธช่Š‚็‚นไน‹้—ด็š„่ฟžๆŽฅๆƒๅ€ผ๏ผŒb
j
ไธบyๅฑ‚็ฌฌ jไธช่Š‚็‚น็š„ๅ็ฝฎ๏ผŒb
k
ไธบzๅฑ‚็ฌฌk็š„
่Š‚็‚น็š„ๅ็ฝฎใ€‚
็ฅž็ป็ฝ‘็ปœ็š„่ฟ™็ง่‡ชๅบ•ๅ‘ไธŠ็š„ๆฟ€ๆดป๏ผŒๆœ‰ๆ—ถไนŸ่ขซ่งฃ้‡Šไธบ็‰นๅพๆๅ–ๆˆ–้‡ๆ–ฐ็ผ–็ ใ€‚ๅฝ“
ๆŽฅๆ”ถๅˆฐไธ€ไธชๆ•ฐๆฎๆ—ถ๏ผŒ็ฅž็ป็ฝ‘็ปœๅฐ†่ฟ™ไธชๆ•ฐๆฎ้€ๅฑ‚ๅœฐ่ฟ›่กŒ็‰นๅพๆŠฝๅ–๏ผŒ่ฟ‡ๆปคๆŽ‰ไธ€ไบ›ๅ†—ไฝ™
ไฟกๆฏ๏ผŒๅฐ†ๅ‰ฉไฝ™็š„้‡ๆ–ฐ็ผ–็ ๏ผŒๆœ€ๅŽๅˆฉ็”จไธ€ไธชๅˆ†็ฑปๅ™จๅฐ†ๆŠฝๅ–ๅˆฐ็š„ๆœ€ๆŠฝ่ฑก๏ผˆๅณๆœ€้กถๅฑ‚๏ผ‰
็‰นๅพ่ฟ›่กŒๅˆ†็ฑป๏ผŒไปŽ่€ŒๅฎŒๆˆๆ•ดไธช่ฏ†ๅˆซ่ฟ‡็จ‹ใ€‚
5.2.1 ็ฅž็ปๆฟ€ๆดป
ๅˆฐ็›ฎๅ‰ไธบๆญข๏ผŒๆˆ‘ไปฌๅชไป‹็ปไบ†ไธ€็งๆฟ€ๆดปๅ‡ฝๆ•ฐ๏ผŒๅณ้˜ถ่ทƒๅ‡ฝๆ•ฐ๏ผŒไฝ†ๅฎž้™…ไธญๆˆ‘ไปฌๅนถไธ
ไผšไฝฟ็”จ้˜ถ่ทƒๅ‡ฝๆ•ฐไฝœไธบๆฟ€ๆดปๅ‡ฝๆ•ฐใ€‚้ฆ–ๅ…ˆ๏ผŒ้˜ถ่ทƒๅ‡ฝๆ•ฐๆ˜ฏไธ่ฟž็ปญ็š„๏ผŒๅ…ถๆฌก๏ผŒ้˜ถ่ทƒๅ‡ฝๆ•ฐๆ˜ฏ
ไธๅฏๅฏผ็š„
2
ใ€‚ๆฟ€ๆดปๅ‡ฝๆ•ฐไธๅฏๅฏผ๏ผŒๅฐ†ๅฏผ่‡ด็ฝ‘็ปœๆ— ๆณ•ๅˆฉ็”จๅๅ‘ไผ ๆ’ญ่ฟ›่กŒ่ฎญ็ปƒ๏ผŒๅ…ณไบŽ่ฟ™็‚น
ๆˆ‘ไปฌๅฐ†ๅœจๅๅ‘ไผ ๆ’ญ็ซ ่Š‚่ฎจ่ฎบใ€‚ไฝœไธบๆฟ€ๆดปๅ‡ฝๆ•ฐ๏ผŒๅฎƒๅบ”่ฏฅๆปก่ถณไปฅไธ‹ๅ‡ ไธชๆกไปถ
1. ๅฎƒๅฟ…้กปๆ˜ฏ้ž็บฟๆ€ง็š„ใ€‚็”ฑๅผ(5-9)ๅฏไปฅ็œ‹ๅ‡บ๏ผŒ่‹ฅๆฟ€ๆดปๅ‡ฝๆ•ฐๆ˜ฏ็บฟๆ€ง็š„๏ผŒๅˆ™ๅคšๅฑ‚็ฅž
็ป็ฝ‘็ปœๅฎž้™…ไธŠๅช็›ธๅฝ“ไบŽไธคๅฑ‚็ฝ‘็ปœ๏ผŒๅ› ไธบๅคšไธช็Ÿฉ้˜ต็›ธไน˜็š„็ป“ๆžœไปไธบไธ€ไธช็Ÿฉ้˜ตใ€‚
็ฝ‘็ปœไธ€ๆ—ฆๅคฑๅŽปๅคšๅฑ‚็ป“ๆž„๏ผŒๅˆ™่กจ่พพ่ƒฝๅŠ›่ฟ…้€Ÿไธ‹้™ใ€‚
2. ๅฎƒๅบ”่ฏฅๅ…ทๆœ‰้ฅฑๅ’Œ็‰นๆ€ง๏ผŒๅณ่‡ณๅฐ‘ๅญ˜ๅœจไธ€ไธชไธŠ็•Œๆˆ–ไธ‹็•Œใ€‚้ฅฑๅ’Œ็‰นๆ€ง็š„ๅญ˜ๅœจ๏ผŒไฝฟ
ๅพ—็ฅž็ปๅ…ƒ็š„่พ“ๅ‡บไธ่‡ณไบŽ่ฟ‡้ซ˜ๆˆ–่ฟ‡ไฝŽ๏ผŒๆ•ดไธช็ฝ‘็ปœ็š„็ผ–็ ็ปดๆŒๅœจไธ€ๅฎš็š„่Œƒๅ›ดๅ†…ใ€‚
ไฝ†ๆœ€่ฟ‘็š„็ ”็ฉถ่กจๆ˜Ž๏ผŒไธ€ไบ›่ฟ‘ไผผ้ฅฑๅ’Œ็š„ๆฟ€ๆดปๅ‡ฝๆ•ฐไนŸ่ƒฝๅทฅไฝœๅพ—ๅพˆๅฅฝ๏ผŒๅฆ‚ๆญค็œ‹ๆฅ๏ผŒ
้ฅฑๅ’ŒไผผไนŽๅนถไธๆ˜ฏๅฟ…่ฆ็š„ใ€‚
3. ๅฎƒๅบ”่ฏฅ่ฟž็ปญไธ”ๅฏๅฏผใ€‚็”ฑไบŽๅๅ‘ไผ ๆ’ญไธญ้œ€่ฆๆฑ‚ๅ–ๆฟ€ๆดปๅ‡ฝๆ•ฐ็›ธๅฏนไบŽๅ‡€ๆฟ€ๆดป็š„ๅ
ๅฏผๆ•ฐ๏ผŒๅฆ‚ๆžœๆฟ€ๆดปๅ‡ฝๆ•ฐๆ˜ฏไธๅฏๅฏผ็š„๏ผŒ้‚ฃไนˆๅๅ‘ไผ ๆ’ญ็ฎ—ๆณ•ๅฐ†ๆ— ๆณ•ๆ‰ง่กŒใ€‚
ๅฎž ้™… ๅทฅ ็จ‹ ไธญ๏ผŒ ๆˆ‘ ไปฌ ๅธธ ็”จ ็š„ ๆฟ€ ๆดป ๅ‡ฝ ๆ•ฐ ๆ˜ฏsigmoidๅ‡ฝ ๆ•ฐ
3
ๆˆ– ๅŒ ๆ›ฒ ๆญฃ ๅˆ‡ ๅ‡ฝ ๆ•ฐใ€‚ๅ…ถ ไธญ๏ผŒ
sigmoidๅ‡ฝๆ•ฐๆˆ‘ไปฌๅฎšไน‰ไธบ
f (net) =
1
1 + e
โˆ’net
(5-10)
ๅ…ถๅฏนๅบ”็š„ๅ›พๅƒๅฆ‚ๅ›พ5-5ๆ‰€็คบ
2
ไบ‹ๅฎžไธŠ้˜ถ่ทƒๅ‡ฝๆ•ฐๆ˜ฏๅฏๅฏผ็š„๏ผŒๅ…ถๅฏผๅ‡ฝๆ•ฐไธบ่„‰ๅ†ฒๅ‡ฝๆ•ฐ๏ผŒ่ฟ™ๆ˜ฏไธ€ไธชๅนฟไน‰ๅ‡ฝๆ•ฐ๏ผŒๆˆ‘ไปฌไธๆทฑๅ…ฅ่ฎจ่ฎบ
3
ไนŸ่ขซ็งฐไธบlogisticๅ‡ฝๆ•ฐ
- 41 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ๅ›พ 5-5 sigmoidๆฟ€ๆดป
ๅฏไปฅ็œ‹ๅˆฐ๏ผŒsigmoidๅ‡ฝๆ•ฐๆ˜ฏไธ€ไธชๅ€ผๅŸŸไธบ(0, 1)็š„่ฟž็ปญๅฏๅฏผๅ‡ฝๆ•ฐ๏ผŒๅ…ถๅฏผๅ‡ฝๆ•ฐๆœ‰ไธ€ไธช
้‡่ฆ็‰นๆ€ง๏ผŒๅณ
f
โ€ฒ
(net) =
e
โˆ’net
(1 + e
โˆ’net
)
2
=
1
1 + e
โˆ’net
โˆ’
1
(1 + e
โˆ’net
)
2
= f (net)
๎จ
1 โˆ’ f (net)
๎ฉ
(5-11)
่ฟ™ไธช็‰นๆ€งไน‹ๆ‰€ไปฅ้‡่ฆ๏ผŒๆ˜ฏๅบ”ไธบๅˆฉ็”จๅผ(5-11)ๅฏไปฅ็›ดๆŽฅ้€š่ฟ‡็ฝ‘็ปœ็š„่พ“ๅ‡บ็›ดๆŽฅ่ฎก็ฎ—
ๆฟ€ๆดปๅ‡ฝๆ•ฐ็›ธๅฏนไบŽๅ‡€ๆฟ€ๆดป็š„ๅๅฏผๆ•ฐ่€Œไธๅฟ…ๅผ•ๅ…ฅ้ขๅค–็š„่ฎก็ฎ—ใ€‚ๆˆ‘ไปฌ็œ‹ๅˆฐ๏ผŒsigmoidๅ‡ฝๆ•ฐ
็š„่พ“ๅ‡บ่Œƒๅ›ดไธบ(0, 1)๏ผŒๆœ‰ๆ—ถๅ€™๏ผŒๆˆ‘ไปฌๅธŒๆœ›็ฝ‘็ปœ็š„่พ“ๅ‡บไธบ(โˆ’1, 1)๏ผŒๆญคๆ—ถๅฏไปฅไฝฟ็”จๅŒๆ›ฒ
ๆญฃๅˆ‡ๅ‡ฝๆ•ฐ๏ผŒๅณ
f (net) = tanh(net) =
e
net
โˆ’ e
โˆ’net
e
net
+ e
โˆ’net
(5-12)
ๅ…ถๅฏนๅบ”็š„ๅ›พๅƒๅฆ‚ๅ›พ5-6ๆ‰€็คบ
ๅ›พ 5-6 tanhๆฟ€ๆดป
่ฟ‘ๅนดๆฅ๏ผŒๅœจ็ฅž็ป็ฝ‘็ปœ็š„็ ”็ฉถไธŠๅˆๆๅ‡บไบ†ไธ€ไบ›ๆ–ฐ็š„ๆฟ€ๆดปๅ‡ฝๆ•ฐ๏ผŒๅ…ถไธญๆœ€้‡่ฆ็š„่Žซ
- 42 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
่ฟ‡ReLUๆฟ€ๆดปๅ‡ฝๆ•ฐ๏ผŒๅ…ถๅฎšไน‰ไธบ
[31]
f (net) =
๏ฃฑ
๏ฃด
๏ฃด
๏ฃด
๏ฃฒ
๏ฃด
๏ฃด
๏ฃด
๏ฃณ
net ่‹ฅnet > 0
0 ๅ…ถไป–
(5-13)
ๅผ(5-13)ไนŸๅฏไปฅ็ฎ€ๅ†™ไธบ
f (net) = max(0, net) (5-14)
ๅ…ถๅฏนๅบ”็š„ๅ›พๅƒๅฆ‚ๅ›พ5-7ๆ‰€็คบ
ๅ›พ 5-7 ReLUๆฟ€ๆดป
่ฟ™็งๆฟ€ๆดปๅ‡ฝๆ•ฐ็›ธๆฏ”ไบŽsigmoidๅ‡ฝๆ•ฐๆœ‰่พƒๅคง็š„ๆ”น่ฟ›๏ผŒๅ…ณไบŽๅ…ถไผ˜็‚นๆˆ‘ไปฌๅฐ†็•™ๅˆฐๅๅ‘
ไผ ๆ’ญ็š„็ซ ่Š‚่ฎจ่ฎบใ€‚ไฝ†ReLUๆœ‰ไธ€ไธช็ผบ็‚น๏ผšๅœจnet < 0ๆ—ถๅฏผๆ•ฐไธบ0๏ผŒไปŽ่€Œๅฏผ่‡ดๅๅ‘ไผ ๆ’ญ
ๆ— ๆณ•ๆ›ดๆ–ฐๅ‚ๆ•ฐใ€‚ๅ› ๆญค๏ผŒๅœจReLU็š„ๅŸบ็ก€ไธŠๅˆไบง็”Ÿไบ†ไธ€ไบ›ๅ˜ไฝ“๏ผŒไพ‹ๅฆ‚๏ผŒsoftplusไธญ๏ผŒๆฟ€
ๆดปๅ‡ฝๆ•ฐๅฎšไน‰ไธบ
[31]
f (net) = log(1 + e
net
) (5-15)
ๅ…ถๅฏนๅบ”็š„ๅ›พๅƒๅฆ‚ๅ›พ5-8ๆ‰€็คบ
ๅ›พ 5-8 softplusๆฟ€ๆดป
- 43 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ไปŽๅ›พไธญไธ้šพ็œ‹ๅ‡บ๏ผŒsoftplusๆ˜ฏReLU็š„ๅœ†ๆป‘็‰ˆ๏ผŒๅ…ณไบŽsoftplus๏ผŒไธ€ไธชๆœ‰ๆ„ๆ€็š„็ป“
่ฎบๆ˜ฏ๏ผŒๅ…ถๆฟ€ๆดปๅ‡ฝๆ•ฐ็š„ๅฏผๆ•ฐไธบlogisticsๅ‡ฝๆ•ฐ๏ผŒๅณ
f
โ€ฒ
(net) =
e
net
1 + e
net
=
1
1 + e
โˆ’net
(5-16)
็„ถ่€Œ่ฟ™ไธช็ป“่ฎบๅนถๆฒกๆœ‰ไป€ไนˆ็”จๅค„๏ผŒๅ› ไธบๅฎƒๅนถไธ่ƒฝๅ‡่ฝป็จ‹ๅบ็š„่ฎก็ฎ—้‡ใ€‚
ReLU็š„ๅฆไธ€็งๅ˜ไฝ“ๆ˜ฏ็”ฑHe Kaiming็ญ‰ไบบๆๅ‡บ็š„PReLU๏ผŒๅ…ถๆฟ€ๆดปๅ‡ฝๆ•ฐๅฎšไน‰ไธบ
[23]
f (net) =
๏ฃฑ
๏ฃด
๏ฃด
๏ฃด
๏ฃฒ
๏ฃด
๏ฃด
๏ฃด
๏ฃณ
net ่‹ฅnet > 0
ฮฑnet ่‹ฅnet โ‰ค 0
(5-17)
ๅผไธญ๏ผŒฮฑไธบไธ€ไธช่พƒๅฐ็š„ๅ‚ๆ•ฐ๏ผŒไพ‹ๅฆ‚ๅฝ“ฮฑ = 0.1ๆ—ถ๏ผŒๅ…ถๅ›พๅƒๅฆ‚ๅ›พ5-9ๆ‰€็คบ
ๅ›พ 5-9 PReLUๆฟ€ๆดป
ๆ˜พ็„ถ๏ผŒPReLUๅœจ่ดŸๅŠๅนณ้ขไธๅ†ไผšๅ‡บ็Žฐๅฏผๆ•ฐไธบ0็š„ๆƒ…ๅ†ตใ€‚ๅฐฝ็ฎกๅ‚ๆ•ฐฮฑ้œ€่ฆๅญฆไน ๅพ—
ๅˆฐ๏ผŒไฝ†่ฟ™็งๆ–นๆณ•ๅœจImageNet 2012ๆ•ฐๆฎ้›†ไธŠ่Žทๅพ—ไบ†้žๅธธๅฅฝ็š„่ฏ†ๅˆซๆ•ˆๆžœ๏ผŒ้ฆ–ๆฌกๅœจๅ›พๅƒ
่ฏ†ๅˆซไปปๅŠกไธŠ่ถ…่ถŠไบ†ไบบ็š„่ฏ†ๅˆซๆ•ˆๆžœ๏ผŒ้”™่ฏฏ็Ž‡ไป…ไธบ4.94%ใ€‚ๅœจ่ฏฅๆ–‡ไธญ๏ผŒไฝœ่€…ๆๅˆฐไบ†ไธ€ไธช
ๆœ‰ๆ„ๆ€็š„็Žฐ่ฑก๏ผšๅœจ่พƒไฝŽๅฑ‚็š„็ฝ‘็ปœไธญ๏ผŒๅญฆไน ๅˆฐ็š„ๅ‚ๆ•ฐฮฑ่พƒๅคง๏ผŒ่€Œๅœจ้ซ˜ๅฑ‚็š„็ฝ‘็ปœไธญ๏ผŒๅ‚
ๆ•ฐฮฑ่พƒๅฐใ€‚ไฝœ่€…็š„็Œœๆต‹ๆ˜ฏ่พƒไฝŽๅฑ‚็ฝ‘็ปœ้œ€่ฆๅฐฝๅฏ่ƒฝๅคšๅœฐไฟ็•™ๆ•ฐๆฎ็š„ไฟกๆฏ๏ผŒๅ› ๆญคๆฟ€ๆดปๅ‡ฝ
ๆ•ฐๆ›ดๅ€พๅ‘ไบŽ็ฑป็บฟๆ€ง๏ผŒ่€Œ้ซ˜ๅฑ‚็ฝ‘็ปœๆ›ดๅ€พๅ‘ไบŽๆŠฝ่ฑกๆ•ฐๆฎ็š„็ป“ๆž„๏ผŒไปŽ่€Œๅšๅ‡บๅ†ณ็ญ–๏ผŒๅ› ๆญค
้ซ˜ๅฑ‚็š„ๆฟ€ๆดปๅ‡ฝๆ•ฐๆ›ดๅ€พๅ‘ไบŽ้ž็บฟๆ€งใ€‚
ๅœจๅŒไธ€ไธชไปปๅŠกไธญ๏ผŒๆฟ€ๆดปๅ‡ฝๆ•ฐ็š„ไธๅŒ้€‰ๅ–ไผšๆœ‰ไธๅŒ็š„ๅฎž้ชŒ็Žฐ่ฑก๏ผŒ็›ฎๅ‰ๅนถๆฒกๆœ‰่ฏ
ๆ˜Žๅ“ช็งๆฟ€ๆดปๅ‡ฝๆ•ฐๆ›ดๅฅฝใ€‚ไน ๆƒฏไธŠ๏ผŒๅœจๅ…จ่ฟžๆŽฅ็ฅž็ป็ฝ‘็ปœไธญ๏ผŒๆˆ‘ไปฌๆ›ดๅ–œๆฌขsigmoidๆดพ็š„ๆฟ€
ๆดปๅ‡ฝๆ•ฐ๏ผŒ่€Œๅœจๅท็งฏ็ฝ‘็ปœไธญ๏ผŒๆˆ‘ไปฌๆ›ดๅ–œๆฌขReLUๆดพ็š„ๆฟ€ๆดปๅ‡ฝๆ•ฐ๏ผŒๅฐฝ็ฎก่ฟ™ไบ›้ƒฝไธๆ˜ฏๅผบๅˆถ
็š„ใ€‚
- 44 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
5.3 ๅˆ†็ฑปๅ™จ
็ฅž็ป็ฝ‘็ปœ็š„้€ๅฑ‚ๆฟ€ๆดป๏ผŒๅ…ถๆœฌ่ดจๅœจไบŽๅฐ†ไธ€็ง็ผ–็ ่ฝฌๅŒ–ๆˆๅฆไธ€็ง็ผ–็ ใ€‚็ผ–็ ไน‹้—ด
็š„่ฝฌๆข๏ผŒๅฏไปฅ่ฟ‡ๆปคๆŽ‰ไธ€ไบ›ๅŽŸๅง‹็ผ–็ ไธญๆ— ็”จ็š„ๅ™ชๅฃฐๆˆ–ไฟกๆฏ๏ผŒ่ฟ™ไธช่ฟ‡็จ‹ไธ€่ˆฌ้ƒฝไผด้š็€
็†ต็š„ๅ‡ๅฐ๏ผˆไฝ†ๅนถไธ็ปๅฏน๏ผ‰ใ€‚็„ถ่€Œ๏ผŒไธ€ไธช็ฅž็ป็ฝ‘็ปœๅœจๆœ€้กถๅฑ‚็š„ๆฟ€ๆดป๏ผŒๅ…ถ็ผ–็ ๆ˜ฏไบบ็ฑปๆ‰€
ๆ— ๆณ•็†่งฃ็š„๏ผŒๅ› ๆญค๏ผŒๅœจๆœ€้กถๅฑ‚่Š‚็‚นไน‹ไธŠ่ฟ˜้œ€่ฆไธ€ไธชๅˆ†็ฑปๅ™จๅฏน็ฅž็ป็ฝ‘็ปœๆๅ–ๅˆฐ็š„็‰น
ๅพๆˆ–่€…่ฏด็ผ–็ ่ฟ›่กŒๅˆ†็ฑปใ€‚ๅˆ†็ฑปๅ™จๅ…ถไฝœ็”จ๏ผŒไธ€ๆ–น้ขๅœจไบŽๅฐ†็ผ–็ ่ฝฌๆขไธบไบบ็ฑปๆ‰€่ƒฝ็†่งฃ
็š„็ผ–็ ๏ผŒ่ฟ™ๅœจๆœ‰็›‘็ฃ็š„ๅˆ†็ฑปไปปๅŠกไปฅๅŠๆ— ็›‘็ฃ็š„่š็ฑปไปปๅŠกไธญๆ˜ฏๅฟ…่ฆ็š„๏ผŒๅ› ไธบๆˆ‘ไปฌๆœ€
ๅŽๅธŒๆœ›็ฝ‘็ปœ่ƒฝ็ป™ๆˆ‘ไปฌไธ€ไธช่พ“ๅ‡บๆ ‡็ญพใ€‚ไฝ†ๅฏนไบŽ้™็ปดไปปๅŠก่€Œ่จ€ๆœ‰ๆ—ถๅ€™ๅนถไธๆ˜ฏๅฟ…่ฆ็š„๏ผŒ
ๅ› ไธบ้™็ปดๅนถไธ้œ€่ฆ่พ“ๅ‡บๆ ‡็ญพใ€‚ๅฆไธ€ๆ–น้ข๏ผŒๅˆ†็ฑปๅ™จ้ƒฝๅธฆๆœ‰ไธ€ไธชๅ‡†ๅˆ™ๅ‡ฝๆ•ฐ๏ผŒ่ฟ™ไธชๅ‡†ๅˆ™
ๅ‡ฝๆ•ฐๅฎšไน‰ไบ†็†ต๏ผŒๅณๅฎšไน‰ไบ†ไป€ไนˆๆ˜ฏๆททไนฑ๏ผŒไป€ไนˆๆ˜ฏๆœ‰ๅบใ€‚ไปŽๆŽงๅˆถ่ฎบ็š„่ง’ๅบฆไธŠ็œ‹๏ผŒๆŽงๅˆถ
ๅทฅ็จ‹ไธญ๏ผŒ่ฏฏๅทฎๆ˜ฏ็ณป็ปŸๆ กๆญฃ็š„ๆ ธๅฟƒ๏ผŒๆฒกๆœ‰่ฏฏๅทฎไพฟๆฒกๆœ‰ๅ้ฆˆ๏ผŒๆฒกๆœ‰ๅ้ฆˆ๏ผŒๅˆ™็ณป็ปŸ้šพไปฅ
ๆŽงๅˆถใ€‚ๆœบๅ™จๅญฆไน ไนŸๆ˜ฏๅŒๆ ท็š„้“็†๏ผŒๆฒกๆœ‰่ฏฏๅทฎ๏ผŒๅˆ™ๆ— ๆณ•ๅฏนๅ‚ๆ•ฐ่ฟ›่กŒๆ กๆญฃ๏ผŒๆœบๅ™จไพฟๆ— 
ๆณ•ไปŽๆ ทๆœฌไธญๅญฆไน ใ€‚่ฏฏๅทฎ็š„ๆฅๆบ๏ผŒๆบ่‡ชไบŽๅ‡†ๅˆ™็š„ๅฎšไน‰๏ผŒๅณ้ข„ๅ…ˆ้ข„ๅฎšไป€ไนˆๆ˜ฏๅฏน็š„๏ผŒไป€
ไนˆๆ˜ฏ้”™็š„๏ผŒๅฏนไธŽ้”™ไน‹้—ดๅฐฑไผšๅญ˜ๅœจไธ€ไธช่ฏฏๅทฎ๏ผŒๅฆ‚ๆžœๆœบๅ™จไบง็”Ÿไบ†ไธ€ไธช่ฏฏๅทฎ๏ผŒๅˆฉ็”จ่ฟ™
ไธช่ฏฏๅทฎไพฟๅฏไปฅๅฏนๅ‚ๆ•ฐ่ฟ›่กŒๆ กๆญฃใ€‚็ฅž็ป็ฝ‘็ปœไธญ๏ผŒๅธธ็”จ็š„ๅˆ†็ฑปๅ™จๆœ‰ไธ‰็ง๏ผšๅนณๆ–น่ฏฏๅทฎใ€
softmaxใ€ๆ”ฏๆ’‘ๅ‘้‡ๆœบ๏ผŒๅฐฝ็ฎกๆ”ฏๆ’‘ๅ‘้‡ๆœบๆ˜ฏไธ€็ง้‡่ฆ็š„ๅˆ†็ฑปๅ™จ๏ผŒไฝ†ๆ˜ฏ้‰ดไบŽ็ฏ‡ๅน…ๆœ‰้™๏ผŒ
ๆˆ‘ไปฌๅนถไธๆ‰“็ฎ—ๅœจๆœฌๆ–‡ไธญไป‹็ปๆ”ฏๆ’‘ๅ‘้‡ๆœบ๏ผŒๅ…ณไบŽๅ…ถๅŽŸ็†่ฏป่€…ๅฏๅ‚่€ƒๆ–‡็Œฎ[32, 33]ใ€‚
5.3.1 ๅนณๆ–น่ฏฏๅทฎๅˆ†็ฑปๅ™จ
ไธฅๆ ผๆฅ่ฏด๏ผŒๅนณๆ–น่ฏฏๅทฎๅนถไธ่ƒฝ็ฎ—ไฝœไธ€ไธชๅˆ†็ฑปๅ™จ๏ผŒๅฎƒๅ……ๅ…ถ้‡ๅช่ƒฝ็ฎ—ไฝœไธ€ไธชๅ‡†ๅˆ™๏ผŒ
่ฟ™ไธชๅ‡†ๅˆ™้™คไบ†ๅœจ็ฅž็ป็ฝ‘็ปœไธญๆœ‰ๅบ”็”จไน‹ๅค–๏ผŒๅœจๅพˆๅคš้ข†ๅŸŸไนŸๆœ‰ๅนฟๆณ›็š„ๅบ”็”จใ€‚ๅนณๆ–น่ฏฏๅทฎ๏ผŒ
ๆˆ–่€…่ฏดไบŒ่Œƒๆ•ฐ๏ผŒๅ…ถๅ‡†ๅˆ™ๅ‡ฝๆ•ฐๅฎšไน‰ไธบ
J =
d
๎˜
i=1
(x
i
โˆ’ t
i
)
2
(5-18)
ๅผไธญ๏ผŒx
i
ไธบ็ฝ‘็ปœ็š„่พ“ๅ‡บ๏ผŒ่ฟ™ไธช่พ“ๅ‡บ็”ฑ่พ“ๅ…ฅๆ•ฐๆฎไธŽ็ฝ‘็ปœๅ‚ๆ•ฐๅ…ฑๅŒๅ†ณๅฎš๏ผŒt
i
ไปฃ่กจๆ ‡็ญพ
ๅ€ผ๏ผŒไนŸๆˆไธบๆ•™ๅธˆไฟกๅท๏ผŒ็”ฑๆ•ฐๆฎ็š„ๆ ‡็ญพๅ€ผๅ†ณๅฎš๏ผŒdๅˆ™ๆ˜ฏx็š„็ปดๆ•ฐใ€‚ๅ‡่ฎพไธ€ไธช็ฅž็ป็ฝ‘
็ปœ็š„ๆœ€้กถๅฑ‚ๆœ‰4ไธช่Š‚็‚น๏ผŒ็ฝ‘็ปœ็š„่พ“ๅ‡บไธบ[ โˆ’0.1 0.1 0.8 0.1 ]๏ผŒ่€Œๆˆ‘ไปฌ็š„ๆœŸๆœ›่พ“ๅ‡บ
ๆ˜ฏ[ 0 0 1 0 ]๏ผˆๅ†ไธ€ๆฌกๅผบ่ฐƒ๏ผŒ่ฟ™ไธชๆœŸๆœ›่พ“ๅ‡บ็”ฑๆ ‡็ญพๅ€ผๅ†ณๅฎš๏ผ‰๏ผŒ้‚ฃไนˆๅฎž้™…่พ“ๅ‡บไธŽๆœŸ
ๆœ›่พ“ๅ‡บไน‹้—ดๅฐฑไผšๅญ˜ๅœจไธ€ไธช่ฏฏๅทฎๅ‘้‡[ โˆ’0.1 0.1 0.2 0.1 ]๏ผŒๅฐ†ๅ…ถ่ฝฌๅŒ–ๆˆๅนณๆ–น่ฏฏๅทฎๅŽ
ไธบ[ 0. 01 0.01 0.04 0.01 ]๏ผŒๅˆฉ็”จๅผ(5-18)ๅฏไปฅๅพˆๅฎนๆ˜“็ฎ—็š„ๆญคๆ—ถJ = 0.07ใ€‚ไบ‹ๅฎžไธŠ๏ผŒ
J = 0.07ๅฏนๆˆ‘ไปฌ่€Œ่จ€ๆฒกๆœ‰ๅคชๅคง็”จๅค„๏ผŒๅฎƒๆœ€ๅคšๅช่ƒฝๅˆป็”ปๆ€ป็š„่ฏฏๅทฎ้‡ๆœ‰ๅคšๅคง๏ผŒ็œŸๆญฃๅฏนๆˆ‘
- 45 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ไปฌๆœ‰็”จ็š„ๆ˜ฏๅนณๆ–น่ฏฏๅทฎๅ‘้‡๏ผŒๅˆฉ็”จ่ฟ™ไธชๅ‘้‡๏ผŒๅฏไปฅๅฐ†่ฏฏๅทฎๅๅ‘ไผ ๆ’ญๅ›ž็ฅž็ป็ฝ‘็ปœ็š„ๅบ•
ๅฑ‚๏ผŒไปŽ่€Œ่‡ช้กถๅ‘ไธ‹ๅฐฑ็ฝ‘็ปœๅ‚ๆ•ฐ่ฟ›่กŒๆ กๆญฃ๏ผŒๅ…ณไบŽ่ฟ™ไธช่ฟ‡็จ‹ๆ›ดๅคš็š„็ป†่Š‚๏ผŒๆˆ‘ไปฌๅฐ†ไผš็•™
ๅˆฐๅๅ‘ไผ ๆ’ญ็ซ ่Š‚ไป‹็ปใ€‚
5.3.2 softmaxๅˆ†็ฑปๅ™จ
ๅฎž้™…ไธญ๏ผŒไธบไบ†ๆ–นไพฟๅˆ†็ฑป๏ผŒๆˆ‘ไปฌๅพ€ๅพ€ๅธŒๆœ›็ฝ‘็ปœ็š„่พ“ๅ‡บๆ˜ฏโ€œkไธญๅ–1โ€็š„ๅฝขๅผ๏ผŒไพ‹
ๅฆ‚๏ผŒๅ‡่ฎพๆˆ‘ไปฌๆœ‰ๅ››ไธช็ฑปๅˆซ๏ผŒๅฆ‚ๆžœไฝฟ็”จไบŒ่ฟ›ๅˆถ็ผ–็ ็š„่ฏ๏ผŒๆˆ‘ไปฌๅช้œ€ไธคไธช่Š‚็‚นๅณๅฏ๏ผŒ
ๅณ00ไปฃ่กจ็ฌฌไธ€็ฑป๏ผŒ01ไปฃ่กจ็ฌฌไบŒ็ฑป๏ผŒไปฅๆญค็ฑปๆŽจใ€‚ๅฆ‚ๆžœๆˆ‘ไปฌไฝฟ็”จๆ‰€่ฐ“็š„โ€œkไธญๅ–1โ€ๅฝข
ๅผ๏ผŒๆˆ‘ไปฌไพฟ้œ€่ฆๅ››ไธช่Š‚็‚น๏ผŒๅณ0001ไปฃ่กจ็ฌฌไธ€็ฑป๏ผŒ0010ไปฃ่กจ็ฌฌไบŒ็ฑป๏ผŒ0100ไปฃ่กจ็ฌฌไธ‰
็ฑป๏ผŒ1000ไปฃ่กจ็ฌฌๅ››็ฑปใ€‚ไธบไบ†ๅฎž็Žฐโ€œkไธญๅ–1โ€็š„ๅฝขๅผ๏ผŒๆˆ‘ไปฌ้œ€่ฆๅผ•ๅ…ฅsoftmaxๅˆ†็ฑปๅ™จ๏ผŒ
softmaxๅˆ†็ฑปๅ™จๅฏไปฅ่ฎคไธบๆ˜ฏlogisticsๅ›žๅฝ’็š„ๆŽจๅนฟ๏ผŒๅœจไฝฟ็”จlogisticsๅ›žๅฝ’่ฟ›่กŒๅˆ†็ฑปๆ—ถ๏ผŒ
ๅช่ƒฝๅฎž็Žฐไธค็ฑปๅˆ†็ฑป๏ผŒ่€Œsoftmaxๅˆ†็ฑปๅ™จๅฏไปฅๅฎž็Žฐๅคš็ฑปๅˆ†็ฑปๅŠŸ่ƒฝใ€‚
ๅœจsoftmaxๅˆ†็ฑปๅ™จไธญ๏ผŒๅ‡่ฎพๅฎน้‡ไธบn็š„่ฎญ็ปƒ้›†ไธบS =
๎€ˆ
(x
(1)
, y
(1)
), ยทยทยท , (x
(n)
, y
(n)
)
๎€‰
๏ผŒ
็”ฑ ไบŽ ๆ ‡ ็ญพy็š„ ๅ– ๅ€ผ ๅฏ ไปฅ ๆœ‰c็ง๏ผŒ ๅ›  ๆญคy
(i)
โˆˆ {1, 2, ยทยทยท , c}ใ€‚ ๆˆ‘ ไปฌ ๅผ• ๅ…ฅ ่ฎฐ
ๅท(ฯ•
1
, ฯ•
2
, ยทยทยท , ฯ•
c
)ๆฅ่กจ็คบๅ„ไธช็ฑปๅˆซ็š„่พ“ๅ‡บๆฆ‚็Ž‡๏ผŒ็”ฑไบŽ
๎
ฯ•
i
= 1๏ผŒๅ› ๆญค่ฎฐๅทๅญ˜ๅœจๅ†—
ไฝ™๏ผŒๅช้œ€่ฆc โˆ’ 1ไธช่ฎฐๅท(ฯ•
1
, ฯ•
2
, ยทยทยท , ฯ•
cโˆ’1
)ๅณๅฏ๏ผŒๅฏนไบŽฯ•
i
๏ผŒๆœ‰
ฯ•
i
= P(y = 1; ฯ•) (5-19)
ไปฅๅŠ
ฯ•
c
= P(y = c; ฯ•) = 1 โˆ’
cโˆ’1
๎˜
i=1
ฯ•
i
(5-20)
ๆณจๆ„๏ผŒๆญฃๅฆ‚ๆˆ‘ไปฌไน‹ๅ‰ๆๅˆฐ็š„๏ผŒฯ•ไธญๅ‚ๆ•ฐๅญ˜ๅœจๅ†—ไฝ™๏ผŒๆ‰€ไปฅฯ•
c
ๅนถไธๆ˜ฏๅ‚ๆ•ฐ๏ผŒ่€Œๆ˜ฏไธ€ไธชไธบ
ไบ†ๆ–นไพฟๅŽ้ข่ฎจ่ฎบๆ‰€ๅผ•ๅ…ฅ็š„ไธ€ไธช่ฎฐๅทใ€‚
็”ฑไบŽsoftmax็š„ๆฆ‚็Ž‡ๅˆ†ๅธƒไนŸๅฑžไบŽๆŒ‡ๆ•ฐๅˆ†ๅธƒๆ—๏ผŒ่€ŒๅœจๆŒ‡ๆ•ฐๅˆ†ๅธƒๆ—ไธญ๏ผŒๅฏนไบŽๆฆ‚็Ž‡ๅˆ†
ๅธƒ่€Œ่จ€๏ผŒ้ƒฝๅฏไปฅๅ†™ๆˆๅฆ‚ไธ‹ๅฝขๅผ
P(y; ฮท) = b(y) exp
๎€”
ฮท
T
T (y) โˆ’ a(ฮท)
๎€•
(5-21)
ๅœจsoftmaxไธญ๏ผŒๆˆ‘ไปฌ่ฎฐT (y) โˆˆ R
cโˆ’1
ไธบ
T (1) =
๏ฃฎ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฐ
1
0
.
.
.
0
๏ฃน
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃป
T (2) =
๏ฃฎ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฐ
0
1
.
.
.
0
๏ฃน
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃป
ยทยทยท T (c โˆ’ 1) =
๏ฃฎ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฐ
0
0
.
.
.
1
๏ฃน
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃป
T (c) =
๏ฃฎ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฐ
0
0
.
.
.
0
๏ฃน
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃป
(5-22)
- 46 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
่ฎฐ
๎จ
T (y)
๎ฉ
i
ไธบT (y)็š„็ฌฌiไธชๅ…ƒ็ด ๏ผŒ่ฎฐ1{ยท}ไธบ็คบๆ€งๅ‡ฝๆ•ฐ๏ผŒๅณ
1{A} =
๏ฃฑ
๏ฃด
๏ฃด
๏ฃด
๏ฃฒ
๏ฃด
๏ฃด
๏ฃด
๏ฃณ
1 ๏ผŒ่‹ฅๅ‘ฝ้ข˜Aไธบ็œŸ
0 ๏ผŒ่‹ฅๅ‘ฝ้ข˜Aไธบๅ‡
(5-23)
ๅ› ไธบ
๎จ
T (y)
๎ฉ
i
= 1{y = i}๏ผŒๅ› ๆญค
E
๎€”
๎€‚
T (y)
๎€ƒ
i
๎€•
=
๎€‚
T (y)
๎€ƒ
i
ยท P(y = i)
= P(y = i)
= ฯ•
i
(5-24)
่€Œ
P(y; ฯ•) = ฯ•
1{y=1}
1
ฯ•
1{y=2}
2
ยทยทยทฯ•
1{y=c}
c
= ฯ•
1{y=1}
1
ฯ•
1{y=2}
2
ยทยทยทฯ•
1โˆ’
cโˆ’1
๎
i=1
1{y=i}
c
= ฯ•
๎€‚
T (y)
๎€ƒ
1
1
ฯ•
๎€‚
T (y)
๎€ƒ
2
2
ยทยทยทฯ•
1โˆ’
cโˆ’1
๎
i=1
๎€‚
T (y)
๎€ƒ
i
c
= exp
๎€š
ln
๎จ
ฯ•
๎€‚
T (y)
๎€ƒ
1
1
ฯ•
๎€‚
T (y)
๎€ƒ
2
2
ยทยทยทฯ•
1โˆ’
cโˆ’1
๎
i=1
๎€‚
T (y)
๎€ƒ
i
c
๎ฉ
๎€›
= exp
๎€š
๎จ
T (y)
๎ฉ
1
ln ฯ•
1
+
๎จ
T (y)
๎ฉ
2
ln ฯ•
2
+ ยทยทยท +
๎€”
1 โˆ’
cโˆ’1
๎˜
i=1
๎จ
T (y)
๎ฉ
i
๎€•
ln ฯ•
c
๎€›
= exp
๎€š
๎จ
T (y)
๎ฉ
1
ln
ฯ•
1
ฯ•
c
+
๎จ
T (y)
๎ฉ
2
ln
ฯ•
2
ฯ•
c
+ ยทยทยท + ln ฯ•
c
๎€›
(5-25)
ๅฏนๆฏ”ๅผ(5-21)๏ผŒๅพ—
b(y) = 1 (5-26)
ฮท =
๎จ
ln
ฯ•
1
ฯ•
c
ln
ฯ•
2
ฯ•
c
ยทยทยท ln
ฯ•
cโˆ’1
ฯ•
c
๎ฉ
T
(5-27)
a(ฮท) = โˆ’ln ฯ•
c
(5-28)
ๅฎšไน‰
ฮท
i
= ln
ฯ•
i
ฯ•
c
ฮท
c
= ln
ฯ•
c
ฯ•
c
= 0 (5-29)
็”ฑไบŽ
e
ฮท
i
=
ฯ•
i
ฯ•
c
(5-30)
ๅˆ™
- 47 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ฯ•
c
ยท e
ฮท
i
= ฯ•
i
(5-31)
ไธ”
ฯ•
c
c
๎˜
i=1
e
ฮท
i
=
c
๎˜
i=1
ฯ•
c
e
ฮท
i
=
k
๎˜
i=1
ฯ•
i
= 1 (5-32)
ไปŽ่€Œ
ฯ•
i
= ฯ•
c
e
ฮท
i
=
exp(ฮท
i
)
๎
c
i=1
exp(ฮท
i
)
(5-33)
ๅณ
P(y = i; ฯ•) = ฯ•
i
=
exp(ฮท
i
)
๎
c
i=1
exp(ฮท
i
)
(5-34)
ไปฅๅŠ
P(y = i|x; ฮธ) =
exp(ฮธ
T
i
x)
๎
c
j=1
exp(ฮธ
T
j
x)
(5-35)
ๆœฌ่ดจไธŠ๏ผŒsoftmaxๅˆ†็ฑปๅ™จ้ƒฝๅฏไปฅ็œ‹ๅšๆ˜ฏไธ€็งไธคๅฑ‚็ฅž็ป็ฝ‘็ปœ๏ผŒไธŽๅธธ่ง„็š„็ฅž็ป็ฝ‘
็ปœไธญไฝฟ็”จsigmoidๅ‡ฝๆ•ฐไฝœไธบๆฟ€ๆดปๅ‡ฝๆ•ฐไธๅŒ๏ผŒๅœจsoftmaxๅˆ†็ฑปๅ™จไธญ๏ผŒๆฟ€ๆดปๅ‡ฝๆ•ฐ f (net
k
) โˆ
e
net
k
๏ผŒๅฏนๅบ”็š„ๆฟ€ๆดปๆฆ‚็Ž‡ๅฎšไน‰ไธบ
[3]
z
k
=
e
net
k
๎
c
i=1
e
net
i
(5-36)
ๅผไธญ๏ผŒz
k
ไปฃ่กจ็ฌฌkไธช่Š‚็‚นๆฟ€ๆดป็š„ๆฆ‚็Ž‡๏ผŒnet
k
ไปฃ่กจ็ฌฌk็š„่Š‚็‚น็š„ๅ‡€ๆฟ€ๆดป๏ผŒๅ–ๅ€ผไธบ่พ“ๅ…ฅ็‰น
ๅพx็š„็บฟๆ€งๅ‡ฝๆ•ฐ๏ผŒๅณnet
k
= ฮธ
k
x
T
๏ผŒcไธบ็ฑปๅˆซ็š„ๆ€ปๆ•ฐใ€‚ๅœจๅผ(5-36)ไธญๅˆ†ๆฏ็š„ไฝœ็”จไธ‹๏ผŒๆˆ‘
ไปฌๅฏนๆฏไธช็ฑปๅˆซ็š„่พ“ๅ‡บ้ƒฝ่ฟ›่กŒไบ†ๅฝ’ไธ€ๅŒ–๏ผŒๆ‰€ไปฅๆ€ป็š„ๆฟ€ๆดปๆฆ‚็Ž‡ไธบ1 ใ€‚ๅœจ่ฏ†ๅˆซไธญ๏ผŒ่ฎก็ฎ—ๅ„
ไธช็ฑปๅˆซ็š„ๆฟ€ๆดปๆฆ‚็Ž‡ๅŽ๏ผŒๅช้œ€้€‰ๅ–ๆœ€ๅคงๆฟ€ๆดปๆฆ‚็Ž‡ๆ‰€ๅฏนๅบ”็š„็ฑปๅˆซไฝœไธบ่พ“ๅ‡บ็ฑปๅˆซๅณๅฏใ€‚
5.4 ็ฅž็ป็ฝ‘็ปœ็š„ๅ้ฆˆ
็ฅž็ป็ฝ‘็ปœ็š„ๅ้ฆˆๆ˜ฏๅŸบไบŽๅ‡†ๅˆ™ๅ‡ฝๆ•ฐ็š„ๅ้ฆˆ๏ผŒๅ‡†ๅˆ™ๅ‡ฝๆ•ฐไฝœไธบ่ฏฏๅทฎ็š„ๅบฆ้‡๏ผŒๅˆป็”ปไบ†
็ฝ‘็ปœ็š„่พ“ๅ‡บไธŽ่ฎญ็ปƒ้›†็š„ๆ ‡็ญพไธค่€…ไน‹้—ด็š„ๅทฎๅผ‚ใ€‚ๆ•ดไธชๅ้ฆˆ่ฟ‡็จ‹ไธญ๏ผŒๅฎž่ดจไธŠๅฐฑๆ˜ฏๅ‡†ๅˆ™
ๅ‡ฝๆ•ฐๆœ€ไผ˜ๅŒ–็š„่ฟ‡็จ‹๏ผŒๅณๅฏน็ฝ‘็ปœ็š„ๅ‚ๆ•ฐ่ฟ›่กŒๆ›ดๆ–ฐ๏ผŒไฝฟๅพ—่ฏฏๅทฎไธๆ–ญๅ‡ๅฐใ€‚ๅ‡่ฎพไธ€ไธชไปฅ
ๅ‚ๆ•ฐฮธไธบ่‡ชๅ˜้‡็š„่ฏฏๅทฎๅ‡ฝๆ•ฐ f (ฮธ)๏ผŒๅ้ฆˆ่ฟ‡็จ‹ๅฐฑ็›ธๅฝ“ไบŽไธๆ–ญๅฏปๆฑ‚ฮธไฝฟๅพ— f (ฮธ)ๆœ€ๅฐ็š„่ฟ‡
็จ‹ใ€‚ๅฆ‚ๆžœ f (ฮธ)ๆ˜ฏๅ‡ธ็š„๏ผŒๅณHessian็Ÿฉ้˜ตๆ˜ฏๆญฃๅฎš็š„๏ผŒ้‚ฃไนˆๆˆ‘ไปฌ็งฐ่ฟ™ไธช้—ฎ้ข˜ไธบๅ‡ธไผ˜ๅŒ–้—ฎ
้ข˜๏ผŒๆˆ‘ไปฌๅฏไปฅๆœ‰ๅพˆๅคš็ญ–็•ฅ่งฃๅ†ณๅ‡ธไผ˜ๅŒ–้—ฎ้ข˜๏ผŒไฝ†ๅฎž้™…ไธญ้‡ๅˆฐ็š„้—ฎ้ข˜ๅŸบๆœฌ้ƒฝๆ˜ฏ้žๅ‡ธ้—ฎ
้ข˜๏ผŒ่งฃๅ†ณ้žๅ‡ธ้—ฎ้ข˜๏ผŒไธ€ไธช็ฎ€ๅ•ๆœ‰ๆ•ˆ็š„ๆ–นๆณ•ๆ˜ฏๅˆฉ็”จๆขฏๅบฆไธ‹้™ใ€‚ๆƒณ่ฑกๆˆ‘ไปฌๅœจไธ€ๅบงๅฑฑไธŠ๏ผŒ
ไธบไบ†ๆ›ดๅฟซ้€Ÿ็š„ไธ‹ๅฑฑ๏ผŒๆˆ‘ไปฌๅฏไปฅๆฏไธ€ๆญฅ้ƒฝๆœ็€ๅฝ“ๅ‰ๆœ€้™กๅณญ็š„ๆ–นๅ‘๏ผˆๅณๆขฏๅบฆๆ–นๅ‘๏ผ‰ๅ‰
่ฟ›๏ผŒๆขฏๅบฆไธ‹้™ไนŸๆ˜ฏๅŸบไบŽ่ฟ™ไธชๅŽŸ็†๏ผŒๆฏไธ€ๆฌก่ฟญไปฃ๏ผŒๆˆ‘ไปฌ้ƒฝๅœจๅฝ“ๅ‰็š„ฮธไธ‹่ฎก็ฎ— f (ฮธ)็š„ๆขฏ
ๅบฆโˆ†
ฮธ
f (ฮธ)๏ผŒ่ฎฉฮธๅŠ ไธŠ่ฟ™ไธชๆขฏๅบฆๅˆ†้‡๏ผŒไนŸๅฐฑๆ˜ฏ่ฎฉๅฎƒๆœ็€ๆขฏๅบฆไธ‹้™็š„ๆ–นๅ‘่ฟญไปฃใ€‚็”ฑไบŽๆขฏ
- 48 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ๅบฆไธ‹้™็š„ๆฏไธ€ๆญฅ้ƒฝๆ˜ฏๅŸบไบŽๅฝ“ๅ‰็š„ๅ‚ๆ•ฐฮธ๏ผŒๆ‰€ไปฅ่ฟ™ๆ˜ฏไธ€ไธช่ดชๅฉช็ฎ—ๆณ•๏ผŒๅนถไธ่ƒฝไฟ่ฏๆ”ถๆ•›
ๅˆฐๅ…จๅฑ€ๆœ€ไผ˜ใ€‚ๅฆ‚ๆžœ f (ฮธ)ๆ˜ฏๅ‡ธ็š„๏ผŒ้‚ฃไนˆๆขฏๅบฆไธ‹้™ๅœจๅคง้ƒจๅˆ†ๆƒ…ๅ†ตไธ‹ๅฎƒไผšๆ”ถๆ•›ๅˆฐๅ…จๅฑ€ๆœ€
ไผ˜๏ผˆไฝ†ๅนถไธ็ปๅฏน๏ผŒๅ—ๅญฆไน ็Ž‡ๅฝฑๅ“๏ผ‰๏ผŒ็„ถ่€Œ๏ผŒๅฎž้™…ไปปๅŠก็”ฑไบŽๅ…ถ้žๅ‡ธๆ€ง๏ผŒๆˆ‘ไปฌๅŸบๆœฌไธŠ
ไธๅฏ่ƒฝๆ”ถๆ•›ๅˆฐๅ…จๅฑ€ๆœ€ๅฐๅ€ผ๏ผŒๆˆ‘ไปฌๅพ—ๅˆฐ็š„ๅพ€ๅพ€ๆ˜ฏๅฑ€้ƒจๆžๅฐๅ€ผใ€‚ๅฆๅค–๏ผŒๅ€ผๅพ—ไธ€ๆ็š„ๆ˜ฏ๏ผŒ
ๆ”ถๆ•›ๅˆฐๅ…จๅฑ€ๆœ€ๅฐๅ€ผๆ˜ฏๆฒกๆœ‰ๆ„ไน‰็š„๏ผŒๅ› ไธบ่ฟ™ไธชๅ…จๅฑ€ๆœ€ๅฐๅ€ผๆ˜ฏๅŸบไบŽ่ฎญ็ปƒ้›†็š„ๆœ€ๅฐๅ€ผ๏ผŒ
ไธ€ๆ—ฆๆ”ถๆ•›ๅˆฐๆญคๅค„๏ผŒๆ„ๅ‘ณ็€็ฝ‘็ปœๅฏไปฅๅพˆๅฅฝๅœฐๅˆป็”ป่ฎญ็ปƒ้›†๏ผŒไฝ†ๅนถไธๆ„ๅ‘ณๅฎƒๅŒๆ ทๅฏไปฅๅพˆ
ๅฅฝๅœฐๆณ›ๅŒ–ๅˆฐๆต‹่ฏ•้›†ไธŠ๏ผŒ่ฟ™ไธชๆ—ถๅ€™ๅพ€ๅพ€ไผšไผด้š็€่พƒ้ซ˜็š„่ฟ‡ๆ‹Ÿๅˆ้ฃŽ้™ฉ๏ผŒๆˆ‘ไปฌไธๅบ”ไธ€ๅ‘ณ
ๅœฐๆœ€ๆฑ‚ๅ…จๅฑ€ๆœ€ๅฐ๏ผŒ่€Œๅบ”ๅœจ่ฎญ็ปƒ้›†ไธŽๆต‹่ฏ•้›†ไธค่€…ไน‹้—ด่ฟ›่กŒไธ€ไธชๆƒ่กกใ€‚ๆขฏๅบฆไธ‹้™๏ผŒๅ› 
ๅ…ถ็ฎ€ๅ•ๆœ‰ๆ•ˆ็š„็‰น็‚น๏ผŒ็งฐไธบไผ˜ๅŒ–้—ฎ้ข˜ไธญไธ€ไธชๅพˆๅธธ็”จ็š„็ญ–็•ฅใ€‚
5.4.1 ๅˆ†็ฑปๅ™จๅ‚ๆ•ฐๆ กๆญฃ
20ไธ–็บช80ๅนดไปฃไปฅๅ‰๏ผŒไบบไปฌๅนถๆฒกๆœ‰ๆ‰พๅˆฐไธ€ไธช่พƒๅฅฝ็š„ๆ–นๆณ•่ฎญ็ปƒ็ฅž็ป็ฝ‘็ปœ๏ผŒ่ฟ™็ง็Šถ
ๅ†ตไธ€็›ด็ปดๆŒๅˆฐ1986ๅนด๏ผŒๅœจ่ฟ™ไธ€ๅนด้‡Œ็”ฑRumelhartไธŽMecellandไธบ้ฆ–็š„็ง‘ๅญฆๅฎถๅฐ็ป„
4
ๆ
ๅ‡บไบ†ๆ–นๅ‘ไผ ๆ’ญ็ฎ—ๆณ•๏ผŒ้ฆ–ๆฌกๅœจ็ฅž็ป็ฝ‘็ปœไธญๅˆฉ็”จๆขฏๅบฆไธ‹้™้€ๅฑ‚ๅœฐ่ฎญ็ปƒ็ฝ‘็ปœๅ‚ๆ•ฐ๏ผŒๆฏ่ฎญ
็ปƒๅฎŒไธ€ๅฑ‚ๅŽๅฐ†ๅฝ“ๅ‰ๅฑ‚็š„่ฏฏๅทฎไผ ้€’ๅ›žๅ‰ไธ€ๅฑ‚๏ผŒไพๆฌก่ฟญไปฃ๏ผŒๆœ€ๅŽๅฎŒๆˆๆ•ดไธช็ฝ‘็ปœ็š„่ฎญ็ปƒใ€‚
ๅœจ่ฟ™ๅฅ—ๆ–นๆณ•ไธญ๏ผŒๆ ธๅฟƒ็‚นๆœ‰ไธคไธช๏ผšๅฆ‚ไฝ•ๅˆฉ็”จๆœ€้กถๅฑ‚๏ผˆๅณๅˆ†็ฑปๅ™จ๏ผ‰็š„่ฏฏๅทฎๆฅๆ›ดๆ–ฐๆœ€้กถ
ๅฑ‚็š„ๅ‚ๆ•ฐไปฅๅŠๅฆ‚ไฝ•ๅœจๆŸไธ€ๅฑ‚็ฝ‘็ปœๆ›ดๆ–ฐๅฎŒๅ‚ๆ•ฐๅŽๅฐ†่ฏฅๅฑ‚็š„่ฏฏๅทฎไผ ๆ’ญๅ›žๅ‰ไธ€ๅฑ‚๏ผŒๆˆ‘ไปฌ
ๅฐ†ไผšๅœจๆœฌๅฐ่Š‚ไธญ่ฎจ่ฎบๆœ€้กถๅฑ‚็š„ๅ‚ๆ•ฐๆ กๆญฃ๏ผŒๅนถๅœจไธ‹ไธ€ๅฐ่Š‚่ฎจ่ฎบ่ฏฏๅทฎไผ ๆ’ญใ€‚
5.4.1.1 ๅนณๆ–น่ฏฏๅทฎๅˆ†็ฑปๅ™จๅ‚ๆ•ฐๆ กๆญฃ
็”ฑไบŽๅœจๅนณๆ–น่ฏฏๅทฎๅˆ†็ฑปๅ™จไธญ๏ผŒๅ‡†ๅˆ™ๅ‡ฝๆ•ฐๅฎšไน‰ไธบ
J(ฮธ) =
1
2
c
๎˜
i=1
(t
i
โˆ’ z
i
)
2
=
1
2
||t โˆ’ z||
2
(5-37)
ๅผไธญ๏ผŒz
i
ไธบ่ฎญ็ปƒ้›†็š„ๆ ‡็ญพๅ€ผ๏ผŒ่€Œ็ฝ‘็ปœ็š„่พ“ๅ‡บt
i
ๅˆๆ˜ฏ็”ฑๅ‰ไธ€ๅฑ‚็š„้™ๆฟ€ๆดป็ป่ฟ‡้ž็บฟๆ€งๆ˜ 
ๅฐ„ๅŽๅพ—ๅˆฐ็š„๏ผŒๅณ
t
i
= f (net
i
) (5-38)
ๅผไธญ๏ผŒnet
i
ไธบ่พ“ๅ‡บๅฑ‚็š„ๅ‰ไธ€ๅฑ‚๏ผŒๅณๅ€’ๆ•ฐ็ฌฌไบŒๅฑ‚็š„ๅ‡€ๆฟ€ๆดป๏ผŒ่€Œ่ฟ™ไธชๅ‡€ๆฟ€ๆดปๅˆ่ขซๅฎšไน‰ไธบ
net
i
= wx + b (5-39)
ๅผไธญ๏ผŒwไธบ่พ“ๅ‡บๅฑ‚ไธŽๅ€’ๆ•ฐ็ฌฌไบŒๅฑ‚ไธค่€…ไน‹้—ด็š„ๆƒๅ€ผ๏ผŒbไธบๅ็ฝฎ๏ผŒๅ› ๆญค๏ผŒๆˆ‘ไปฌไธ้šพ้€š่ฟ‡
้“พๅผๆฑ‚ๅฏผๅพ—ๅˆฐ่ฏฏๅทฎ็›ธๅฏนไบŽๅ‚ๆ•ฐ็š„ๆขฏๅบฆ๏ผŒๅณJ(ฮธ)็›ธๅฏนไบŽฮธ๏ผˆ่ฟ™้‡Œ็š„ฮธๅณไธบwๅ’Œb๏ผ‰็š„ๅฏผ
ๆ•ฐ
4
ไบ‹ๅฎžไธŠๅๅ‘ไผ ๆ’ญๆ˜ฏ็”ฑๅพˆๅคšไบบๅœจๅŒไธ€ๅนดไปฃๅŒๆ—ถ็‹ฌ็ซ‹ๆๅ‡บ็š„
- 49 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
โˆ‚J(ฮธ)
โˆ‚w
=
โˆ‚J(ฮธ)
โˆ‚net
โˆ‚net
โˆ‚w
(5-40)
ไปฅๅŠ
โˆ‚J(ฮธ)
โˆ‚b
=
โˆ‚J(ฮธ)
โˆ‚net
โˆ‚net
โˆ‚b
(5-41)
ๅฆ‚ๆžœๆญคๆ—ถ็š„ๆฟ€ๆดปๅ‡ฝๆ•ฐๆ˜ฏsigmoidๅ‡ฝๆ•ฐ๏ผŒ้‚ฃไนˆๅฎนๆ˜“็Ÿฅ้“
โˆ‚J(ฮธ)
โˆ‚net
= net(1 โˆ’ net) (5-42)
ๅฆ‚ๆžœๆฟ€ๆดปๅ‡ฝๆ•ฐๆ˜ฏReLUๅ‡ฝๆ•ฐ๏ผŒไนŸๅฎนๆ˜“ๅพ—ๅˆฐ
โˆ‚J(ฮธ)
โˆ‚net
=
๏ฃฑ
๏ฃด
๏ฃด
๏ฃด
๏ฃฒ
๏ฃด
๏ฃด
๏ฃด
๏ฃณ
1 ่‹ฅnet > 0
0 ่‹ฅnet โ‰ค 0
(5-43)
่€Œโˆ‚net/โˆ‚ฮธๅชๆ˜ฏไธ€ไธช็บฟๆ€งๅ‡ฝๆ•ฐ๏ผŒๅŒๆ ทๅฎนๆ˜“ๆฑ‚ๅพ—
โˆ‚net
โˆ‚w
= x
โˆ‚net
โˆ‚b
= 1 (5-44)
ๅˆฉ็”จ(5-42)ๆˆ–(5-43)
5
ไปฅๅŠ(5-44)ไพฟๅฏไปฅๆฑ‚ๅ–ๅผ(5-40)ไปฅๅŠ(5-41)ไธญๅ‚ๆ•ฐๅบ”่ฏฅไฟฎๆ”น็š„ๅน…
ๅบฆ๏ผŒๅณๆขฏๅบฆใ€‚
5.4.1.2 softmaxๅˆ†็ฑปๅ™จๅ‚ๆ•ฐๆ กๆญฃ
softmax็š„่ฎญ็ปƒไธญ๏ผŒ็”ฑไบŽ็ฝ‘็ปœ็š„่พ“ๅ‡บไธบ
z = E
๎จ
T (y)|x; ฮธ
๎ฉ
= E
๏ฃฎ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฐ
1{y = 1}
1{y = 2}
.
.
.
1{y = c โˆ’ 1}
๎€Œ
๎€Œ
๎€Œ
๎€Œ
๎€Œ
๎€Œ
๎€Œ
๎€Œ
๎€Œ
๎€Œ
๎€Œ
๎€Œ
๎€Œ
๎€Œ
๎€Œ
x; ฮธ
๏ฃน
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃป
=
๏ฃฎ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฐ
ฯ•
1
ฯ•
2
.
.
.
ฯ•
cโˆ’1
๏ฃน
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃป
=
๏ฃฎ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฐ
exp(ฮธ
T
1
x)
๎
c
j=1
exp(ฮธ
T
j
x)
exp(ฮธ
T
2
x)
๎
c
j=1
exp(ฮธ
T
j
x)
.
.
.
exp(ฮธ
T
cโˆ’1
x)
๎
c
j=1
exp(ฮธ
T
j
x)
๏ฃน
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃป
(5-45)
ๅฏนๅบ”็š„ไผผ็„ถๅ‡ฝๆ•ฐไธบ
L(ฮธ) =
n
๎™
i=1
P(y
(i)
|x
(i)
; ฮธ) (5-46)
ๅฏนๅบ”็š„ๅฏนๆ•ฐไผผ็„ถๅ‡ฝๆ•ฐไธบ
โ„“(ฮธ) =
n
๎˜
i=1
ln P(y
(i)
|x
(i)
; ฮธ)
=
n
๎˜
i=1
c
๎˜
j=1
ln
๎€’
exp(ฮธ
T
j
x
(i)
)
๎
c
t=1
exp(ฮธ
T
t
x
(i)
)
๎€“
1{y
(i)
= j}
=
n
๎˜
i=1
c
๎˜
j=1
1{y
(i)
= j}ln
๎€’
exp(ฮธ
T
j
x
(i)
)
๎
c
t=1
exp(ฮธ
T
t
x
(i)
)
๎€“
(5-47)
5
่ฟ™ๅ–ๅ†ณไบŽไฝ ็š„ๆฟ€ๆดปๅ‡ฝๆ•ฐ้€‰ๅ–
- 50 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ๅผ(5-47)็š„็›ธๅๆ•ฐไนŸ่ขซ็งฐไธบไบคๅ‰็†ต๏ผŒๅœจ่ฎญ็ปƒ่ฟ‡็จ‹ไธญๅ……ๅฝ“ๅ‡†ๅˆ™ๅ‡ฝๆ•ฐ๏ผŒๆˆ‘ไปฌๅฏนๅ…ถๆฑ‚ๅฏผ๏ผŒ
ๆœ‰
โˆ‚โ„“(ฮธ)
โˆ‚ฮธ
j
=
n
๎˜
i=1
c
๎˜
j=1
1{y
(i)
= j}
๎€”
x
(i)
โˆ’
โˆ‚
โˆ‚ฮธ
j
ln
c
๎˜
t=1
exp
๎€€
ฮธ
T
t
x
(i)
๎€
๎€•
=
n
๎˜
i=1
c
๎˜
j=1
1{y
(i)
= j}
๎€”
x
(i)
โˆ’
exp(ฮธ
T
j
x
(i)
)
๎
c
t=1
exp(ฮธ
T
t
x
(i)
)
x
(i)
๎€•
=
n
๎˜
i=1
c
๎˜
j=1
1{y
(i)
= j}x
(i)
๎€”
1 โˆ’ P(y
(i)
= j|x
(i)
; ฮธ)
๎€•
(5-48)
็”ฑไบŽ1{y
(i)
= j} โˆˆ {0, 1}๏ผŒๆ‰€ไปฅๅ†™ๆˆๅ‘้‡ๅฝขๅผไธบ
โˆ‚โ„“(ฮธ)
โˆ‚ฮธ
j
=
n
๎˜
i=1
x
(i)
๎จ
1{y
(i)
= i} โˆ’ P(y
(i)
= j|x
(i)
; ฮธ)
๎ฉ
(5-49)
้€š่ฟ‡ไฝฟ็”จๅผ(5-49)่ฟ›่กŒ่ฟญไปฃ๏ผŒๆˆ‘ไปฌไพฟๅฏไปฅไฝฟ็”จๆขฏๅบฆไธŠๅ‡๏ผˆไธ‹้™๏ผ‰่ฟ›่กŒๆœ็ดข๏ผŒไปŽ่€Œๆœ€
ๅคงๅŒ–ไผผ็„ถ๏ผˆๆˆ–ๆœ€ๅฐๅŒ–ไบคๅ‰็†ต๏ผ‰ๆฅ่ฎญ็ปƒsoftmaxๅˆ†็ฑปๅ™จใ€‚
5.4.2 ่ฏฏๅทฎไผ ๆ’ญ
ไธบไบ†็ฎ€ๅ•่ตท่ง๏ผŒๆˆ‘ไปฌไฝฟ็”จไธ€ไธชไธ‰ๅฑ‚็ฅž็ป็ฝ‘็ปœๅฏน่ฏฏๅทฎไผ ๆ’ญ่ฟ›่กŒ่ฎจ่ฎบ๏ผŒไฝ†้€š่ฟ‡่ฟ™
้‡Œ็š„่ฎจ่ฎบ๏ผŒๆˆ‘ไปฌๅฏไปฅๅพˆๅฎนๆ˜“ๅฐ†็ฅž็ป็ฝ‘็ปœๆ‰ฉๅฑ•ๅˆฐๅคšๅฑ‚็ป“ๆž„ใ€‚
ๅ›พ 5-10 ไธ‰ๅฑ‚็ฅž็ป็ฝ‘็ปœ็š„็ฝ‘่ทฏๆž„ๅž‹
ๅฆ‚ๅ›พ5-10ไธญ็š„ไธ‰ๅฑ‚็ฅž็ป็ฝ‘็ปœ๏ผŒyๅฑ‚ๅˆฐzๅฑ‚ไธบๅˆ†็ฑปๅ™จ๏ผŒๆ นๆฎไน‹ๅ‰็š„่ฎจ่ฎบ๏ผŒๆˆ‘ไปฌๅฏ
ไปฅๅˆฉ็”จๅผ(5-40)ๅ’Œๅผ(5-41) ๆฑ‚ๅ–โˆ‚J(ฮธ)/โˆ‚ฮธ
yz
็š„ๅ€ผ๏ผŒๅฆ‚ๆžœๆˆ‘ไปฌ่ฆๆฑ‚ๅ–โˆ‚J(ฮธ)/โˆ‚ฮธ
xy
็š„ๅ€ผ๏ผŒ้‚ฃ
ไนˆ้€š่ฟ‡้“พๅผๆฑ‚ๅฏผ๏ผŒๆˆ‘ไปฌๆœ‰
โˆ‚J(ฮธ)
โˆ‚ฮธ
xy
=
โˆ‚J(ฮธ)
โˆ‚y
โˆ‚y
โˆ‚net
y
โˆ‚net
y
โˆ‚ฮธ
xy
(5-50)
่€Œๆˆ‘ไปฌๅˆๅฏไปฅๆฑ‚ๅพ—
โˆ‚J(ฮธ)
โˆ‚y
=
โˆ‚J(ฮธ)
โˆ‚net
z
โˆ‚net
z
โˆ‚y
(5-51)
ๅฆ‚ๆžœๆˆ‘ไปฌๅฎšไน‰ๅผ(5-40)ไปฅๅŠๅผ(5-41)ไธญ็š„่ฏฏๅทฎไธบ
- 51 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ฮด
z
=
โˆ‚J(ฮธ)
โˆ‚net
z
(5-52)
้‚ฃไนˆๆˆ‘ไปฌๅฏไปฅๅฐ†ๅผ(5-51)ๅ†™ไธบ
โˆ‚J(ฮธ)
โˆ‚y
= ฮด
z
โˆ‚net
z
โˆ‚y
= ฮด
z
ฮธ
T
yz
(5-53)
ๅผไธญ๏ผŒโˆ‚J(ฮธ)/โˆ‚yๅฐฑๆ˜ฏๅˆ†็ฑปๅ™จ่พ“ๅ‡บๅฑ‚๏ผˆZๅฑ‚๏ผ‰็š„่ฏฏๅทฎไผ ๆ’ญๅ›žๅ…ถไธŠไธ€ๅฑ‚๏ผˆYๅฑ‚๏ผ‰็š„่ฏฏๅทฎ๏ผŒ
ๅฆ‚ๆžœๆˆ‘ไปฌๅฎšไน‰Yๅฑ‚็š„่ฏฏๅทฎไธบ
ฮด
y
=
โˆ‚J(ฮธ)
โˆ‚y
โˆ‚y
โˆ‚net
y
(5-54)
ๅˆ™ๆˆ‘ไปฌๅฏไปฅๅˆฉ็”จๅŽไธ€ๅฑ‚ไผ ๆ’ญๅ›žๆฅ็š„่ฏฏๅทฎฮด
z
่ฎก็ฎ—่ฏฅๅฑ‚็š„่ฏฏๅทฎ
ฮด
y
= ฮด
z
ฮธ
T
yz
ยท
โˆ‚y
โˆ‚net
y
(5-55)
ไปŽ่€Œๆˆ‘ไปฌๅฏไปฅๅˆฉ็”จ่ฏฅๅฑ‚็š„่ฏฏๅทฎฮด
y
่ฎก็ฎ—่ฏฅๅฑ‚ๅ‚ๆ•ฐw
xy
็š„ๅขž้‡๏ผŒๅณๆขฏๅบฆ
โˆ‚J(ฮธ)
โˆ‚ฮธ
xy
= ฮด
y
ยท
โˆ‚net
y
โˆ‚ฮธ
xy
(5-56)
้€š่ฟ‡ๅผ(5-56)ๅฏนๅ‚ๆ•ฐฮธ
xy
่ฟ›่กŒๆ กๆญฃ๏ผŒๆ กๆญฃๅฎŒๆฏ•ๅŽ๏ผŒๅฆ‚ๆžœ็ฝ‘็ปœไธๆญขไธ‰ๅฑ‚๏ผŒ่€Œๆ˜ฏๅ››ๅฑ‚๏ผŒๅ‡
่ฎพXๅฑ‚็š„ไธ‹ไธ€ๅฑ‚ไธบPๅฑ‚๏ผŒ้‚ฃไนˆไธบไบ†่ฎก็ฎ—่ฟžๆŽฅXๅฑ‚ไธŽPๅฑ‚ๅ‚ๆ•ฐฮธ
px
็š„ๆขฏๅบฆ๏ผŒๅˆฉ็”จ้“พๅผๆฑ‚
ๅฏผ๏ผŒๅŒๆ ทๆœ‰
โˆ‚J(ฮธ)
โˆ‚ฮธ
px
=
โˆ‚J(ฮธ)
โˆ‚x
โˆ‚x
โˆ‚net
x
โˆ‚net
x
โˆ‚ฮธ
px
(5-57)
ไธŽไน‹ๅ‰็š„ๅšๆณ•็ฑปไผผ๏ผŒๆˆ‘ไปฌๆœ‰
โˆ‚J(ฮธ)
โˆ‚x
=
โˆ‚J(ฮธ)
โˆ‚y
โˆ‚y
โˆ‚net
y
โˆ‚net
y
โˆ‚x
= ฮด
y
ยท ฮธ
T
xy
(5-58)
ๅŒๆ ท็š„้“็†๏ผŒXๅฑ‚็š„่ฏฏๅทฎฮด
x
ๅฎšไน‰ไธบ
ฮด
x
=
โˆ‚J(ฮธ)
โˆ‚x
โˆ‚x
โˆ‚net
x
= ฮด
y
ฮธ
T
xy
ยท
โˆ‚x
โˆ‚net
x
(5-59)
ๅˆ™ๅ‚ๆ•ฐฮธ
px
็š„ๆขฏๅบฆไพฟๅฏไปฅๅˆฉ็”จฮด
x
่ฎก็ฎ—
โˆ‚J(ฮธ)
โˆ‚ฮธ
px
= ฮด
x
ยท
โˆ‚net
x
โˆ‚ฮธ
px
(5-60)
ๅฆ‚ๆžœ่ฟ˜ๆœ‰ๆ›ดๅคš็š„ๅฑ‚๏ผŒๅ…ถๅŽŸ็†้›ทๅŒ๏ผŒๆˆ‘ไปฌไธๅ†่ฏฆ็ป†ๅ™่ฏดใ€‚็Žฐๅœจ่ฎฉๆˆ‘ไปฌๆŠ›ๅผ€ไปฅไธŠ็š„ๆ•ฐ
ๅญฆๅ†…ๅฎนไปŽ็ฝ‘็ปœ็š„็ป“ๆž„ไธŠ่งฃ้‡Š่ฟ™ไธช็ฎ—ๆณ•ไธบไป€ไนˆๅซๅš่ฏฏๅทฎๅๅ‘ไผ ๆ’ญ๏ผŒ้ฆ–ๅ…ˆๆˆ‘ไปฌ่ง‚ๅฏŸๅ„
ๅฑ‚็š„่ฏฏๅทฎ๏ผŒๅณ
[ฮด
z
ฮด
y
ฮด
x
] =
๎€”
โˆ‚J(ฮธ)
โˆ‚net
z
ฮด
z
ฮธ
T
yz
ยท
โˆ‚y
โˆ‚net
y
ฮด
y
ฮธ
T
xy
ยท
โˆ‚x
โˆ‚net
x
๎€•
(5-61)
ๅผไธญ๏ผŒฮธ
T
่ตทๅˆฐ็š„ไฝœ็”จๆ˜ฏๅฐ†่ฏฏๅทฎฮดๅๅ‘ๆณจๅ…ฅ็š„่กŒไธบ๏ผŒ่ฟ™ไธช่กŒไธบๅฆ‚ๅ›พ5-11ๆ‰€็คบ
- 52 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ๅ›พ 5-11 ่ฏฏๅทฎๅๅ‘ๆณจๅ…ฅ
่ง‚ๅฏŸๅผ(5-61)๏ผŒๆˆ‘ไปฌไธ้šพ็œ‹ๅ‡บ๏ผŒ้™คไบ†ๆœ€้กถๅฑ‚ๅค–๏ผŒๅ‰ฉไฝ™ๅฑ‚็š„่ฏฏๅทฎๅฝขๅผ้ƒฝๆ˜ฏ็ฑปไผผ
็š„๏ผŒๅฆ‚ๆžœ็”จไธ€ๅฅ่ฏๆฆ‚ๆ‹ฌๅๅ‘ไผ ๆ’ญ็ฎ—ๆณ•๏ผŒไพฟๆ˜ฏ๏ผšๅฐ†โ„“ๅฑ‚็š„่ฏฏๅทฎๆณจๅ…ฅๅˆฐโ„“ โˆ’ 1ๅฑ‚ไธญ๏ผŒๅ†ไน˜
ไธŠโ„“ โˆ’ 1ๅฑ‚ๆฟ€ๆดปๅ‡ฝๆ•ฐ็š„ๅฏผๆ•ฐ๏ผŒๅพ—ๅˆฐโ„“ โˆ’ 1ๅฑ‚็š„่ฏฏๅทฎ๏ผŒๅˆฉ็”จ่ฟ™ไธชๅพ—ๅˆฐ็š„่ฏฏๅทฎ๏ผŒๅฏนโ„“ โˆ’ 1ๅฑ‚
็š„ๅ‚ๆ•ฐ่ฟ›่กŒๆ›ดๆ–ฐ๏ผŒๆ›ดๆ–ฐๅฎŒๆฏ•ๅŽ๏ผŒๅฐ†โ„“ โˆ’ 1ๅฑ‚็š„่ฏฏๅทฎ้‡ๆ–ฐๆณจๅ…ฅๅˆฐโ„“ โˆ’ 2ๅฑ‚๏ผŒ้‡ๅคไธŠ่ฟฐๆญฅ
้ชค็›ด่‡ณ่ฏฏๅทฎไผ ้ๆ•ดไธช็ฝ‘็ปœใ€‚ไฝ†ๆ˜ฏ่ฟ™้‡Œๆœ‰ไธชไพ‹ๅค–๏ผŒๆœ€้กถๅฑ‚็š„่ฏฏๅทฎๅฎšไน‰ไธŽๅ‰ฉไฝ™ๅฑ‚็š„ไธ
ไธ€ๆ ท๏ผŒไน‹ๆ‰€ไปฅไผš่ฟ™ๆ ทๆ˜ฏๅ› ไธบๆœ€้กถๅฑ‚็š„่ฏฏๅทฎๅนถไธๆ˜ฏ้€š่ฟ‡ๆณจๅ…ฅๆ–นๅผๅพ—ๅˆฐ็š„๏ผŒ่€Œๆ˜ฏไบบไธบ
ๅฎšไน‰ๅพ—ๅˆฐ็š„๏ผŒๅ› ไธบ่ฟ™ไธช่ฏฏๅทฎๆบ่‡ชไบŽๅ‡†ๅˆ™ๅ‡ฝๆ•ฐใ€‚
ๆˆ‘ไปฌๅฏไปฅ็œ‹ๅˆฐ๏ผŒๅๅ‘ไผ ๆ’ญ่ฟ™็ง็ญ–็•ฅๅฎž้™…ไธŠไธŽๅ‰ๅ‘ไผ ๆ’ญๆ˜ฏ็ฑปไผผ็š„๏ผŒๅๅ‘ไผ ๆ’ญไนŸ
ๆ˜ฏไธ€็ง่ดชๅฉช็ฎ—ๆณ•๏ผŒ่ฟ™ๅฐ†ไผšๅฏผ่‡ดไธ€ไบ›้—ฎ้ข˜ใ€‚ๅ› ไธบๆฏไธ€ๆฌก่ฏฏๅทฎไผ ๆ’ญ้ƒฝๆ˜ฏๆ›ดๆ–ฐๅ‚ๆ•ฐๅŽๅ†
ๅฐ†่ฏฏๅทฎๆณจๅ…ฅๅ›žๅ‰ไธ€ๅฑ‚๏ผŒ่ฟ™ๅนถไธ่ƒฝไฟ่ฏ่ฎก็ฎ—ๅพ—ๅˆฐ็š„ๆขฏๅบฆๅฐฑๆ˜ฏ็œŸๅฎž็š„ๆขฏๅบฆ๏ผŒไธ€ๆ—ฆ็ฝ‘็ปœ
็š„ๅฑ‚ๆ•ฐ่ฟ‡ๆทฑ๏ผŒๅฐ†ไผšๅฏผ่‡ดๅ‰้ขๅฑ‚็š„็œŸๅฎžๅฏผๆ•ฐไธŽๅˆฉ็”จๅๅ‘ไผ ๆ’ญ่ฎก็ฎ—ๅพ—ๅˆฐ็š„ๅฏผๆ•ฐ็›ธๅทฎ่ฟ‡
ๅคงใ€‚ๅฆๅค–๏ผŒๅฆ‚ๆžœไฝฟ็”จsigmoidๅ‡ฝๆ•ฐไฝœไธบๆฟ€ๆดปๅ‡ฝๆ•ฐ๏ผŒๅฎƒๅฐ†ๅพˆๅฎนๆ˜“่ฟ›ๅ…ฅ้ฅฑๅ’Œ็Šถๆ€๏ผŒๅ‰้ข
ๅฑ‚็š„ๆขฏๅบฆๆŽฅ่ฟ‘ไบŽ0๏ผŒไปŽ่€Œๅ‚ๆ•ฐๆ— ๆณ•ๆ›ดๆ–ฐ๏ผŒ่ฟ™็ง็Žฐ่ฑกๆˆ‘ไปฌ็งฐไน‹ไธบๆขฏๅบฆๆถˆๅคฑใ€‚ไธ€็งๅฏนๆŠ—
ๆขฏๅบฆๆถˆๅคฑ็š„ๆ–นๆณ•ๆ˜ฏๅฐ†sigmoidๅ‡ฝๆ•ฐๆขๆˆReLUๆฟ€ๆดปๅ‡ฝๆ•ฐ๏ผŒๅ…ณไบŽReLUไธบไป€ไนˆๅฏไปฅๆŠตๆŠ—
ๆขฏๅบฆๆถˆๅคฑ็š„ๅŽŸ็†็›ฎๅ‰ๅฐšๆœช็ ”็ฉถๅ‡บๆฅ๏ผŒไฝ†ๆ˜ฏๅฎž้ชŒ็Žฐ่ฑก่กจๆ˜Žๅฎƒ็กฎๅฎž่ƒฝๆŠ‘ๅˆถๆขฏๅบฆๆถˆๅคฑใ€‚
5.5 ๆทฑๅบฆ็ฝฎไฟก็ฝ‘็ปœ
ๆทฑๅบฆ็ฝฎไฟก็ฝ‘่ทฏ๏ผˆDeep Belief Networks๏ผŒ็ฎ€ๅ†™ไธบDBN๏ผ‰ๆœฌ่ดจๅฐฑๆ˜ฏไธ€็งไผ ็ปŸ็š„็ฅž
็ป็ฝ‘็ปœ๏ผŒไฝ†ๆ˜ฏๅฎƒๅœจไผ ็ปŸ็ฅž็ป็ฝ‘็ปœ็š„ๅŸบ็ก€ไธŠๅŠ ๅ…ฅไธ€ไบ›ๅ˜ๅŠจใ€‚้ฆ–ๅ…ˆ๏ผŒ่ฟ™ๆ˜ฏไธ€็งๆทฑๅฑ‚
็š„็ฅž็ป็ฝ‘็ปœ๏ผŒ่€Œไผ ็ปŸ็š„็ฅž็ป็ฝ‘็ปœไธ€่ˆฌๅช่ฎพ่ฎกไธบไธ‰ๅฑ‚็ป“ๆž„ใ€‚ๅฆๅค–๏ผŒๆทฑๅบฆ็ฝฎไฟก็ฝ‘็ปœ
ๆ˜ฏไธ€ไธชไปฅๅ—้™็Žปๅฐ”ๅ…นๆ›ผๆœบไธบๅŸบ็ก€๏ผŒๅคšไธชๅ—้™็Žปๅฐ”ๅ…นๆ›ผๆœบๅž’ๅ‡บๆฅ็š„ๅคšๅฑ‚็ฅž็ป็ฝ‘็ปœใ€‚
ๅ›พ5-12ๅฑ•็คบไบ†ไธ€ไธชๆทฑๅบฆไธบ4็š„ๆทฑๅบฆ็ฝฎไฟก็ฝ‘็ปœใ€‚
ๆˆ‘ไปฌไน‹ๆ‰€ไปฅ้‡‡็”จๆทฑๅบฆ็ป“ๆž„๏ผŒๆ˜ฏๅ› ไธบๅœจ็ฅž็ปๅ…ƒๆ€ปๆ•ฐไธๅ˜็š„ๅ‰ๆไธ‹๏ผŒๆทฑๅบฆ็ป“ๆž„็š„
่กจ่พพ่ƒฝๅŠ›ๆฏ”ๆต…็ป“ๆž„็š„่กจ่พพ่ƒฝๅŠ›ๆ›ดๅผบใ€‚ไน‹ๆ‰€ไปฅ่ฆๅœจ่ฟ™ไธช็ป“ๆž„ไธญๅผ•ๅ…ฅๅ—้™็Žปๅฐ”ๅ…นๆ›ผๆœบ๏ผŒ
- 53 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ๅ›พ 5-12 DBN็ฝ‘็ปœๆž„ๅž‹
ๆ˜ฏๅ› ไธบไผ ็ปŸ็š„ๆทฑๅบฆ็ป“ๆž„ๆ— ๆณ•่ฎญ็ปƒใ€‚ๆญฃๅฆ‚ๆˆ‘ไปฌๅ‰้ขๆๅŠๅˆฐ็š„๏ผŒๆทฑๅบฆ็ป“ๆž„ไผšๅœจ็ฝ‘็ปœ็š„
่พƒๆต…ๅฑ‚ๅ‡บ็Žฐๆขฏๅบฆๆถˆๅคฑ็Žฐ่ฑก๏ผŒๅฏผ่‡ดๆต…ๅฑ‚ๆ— ๆณ•ๅฏนๅ‚ๆ•ฐ่ฟ›่กŒๆ กๆญฃใ€‚็”ฑไบŽๆ•ฐๆฎๅฟ…้กปไปŽๆต…ๅฑ‚
็ฅž็ปๅ…ƒ้€ๅฑ‚ๅœฐไผ ๆ’ญๅˆฐๆทฑๅฑ‚็ฅž็ปๅ…ƒ๏ผŒไธ€ๆ—ฆๆต…ๅฑ‚็š„ๅ‚ๆ•ฐๆ— ๆณ•ๆ กๆญฃ๏ผŒๅฐ†ไผšๅฏผ่‡ดๆทฑๅฑ‚็š„็ฝ‘
็ปœไนŸๆ— ๆณ•่ฟ›่กŒๅ‚ๆ•ฐๆ กๆญฃ๏ผŒๅ› ไธบๆต…ๅฑ‚ๅ‚ๆ•ฐๆ— ๆณ•ๆ กๆญฃๆ„ๅ‘ณ็€ๆต…ๅฑ‚ๆ— ๆณ•ๅฏนๆ•ฐๆฎ่ฟ›่กŒๅˆ็†
ๅœฐ้‡็ผ–็ ๏ผŒๆ•ฐๆฎ็ป่ฟ‡ๆต…ๅฑ‚ๅŽๅพ—ๅˆฐ็š„ๆ˜ฏๆททไนฑ็š„ๆ•ฐๆฎ๏ผŒๅฐฝ็ฎกๆทฑๅฑ‚ไธไผšไบง็”Ÿๅคชๅคง็š„ๆขฏๅบฆ
ๆถˆๅคฑ็Žฐ่ฑก๏ผŒไฝ†ๆ•ฐๆฎ็ป่ฟ‡ๆต…ๅฑ‚็š„ๆ‰“ไนฑๅŽ๏ผŒๆ•ฐๆฎๅทฒ็ปๆททไนฑไบ†๏ผŒ่ฎญ็ปƒไนŸไพฟๆฒกๆœ‰ๆ„ไน‰ใ€‚ๅฆ
ไธ€ๆ–น้ข๏ผŒไผ ็ปŸ็š„็ฅž็ป็ฝ‘็ปœๅˆๅง‹ๅ€ผ่ฎพๅฎšไธบ้šๆœบๅ€ผ๏ผŒ่ฟ™ไบ›้šๆœบๅ€ผไธ€่ˆฌ่ฎพๅฎšไธบไธ€ไธชๅ‡ๅ€ผ
ไธบ0๏ผŒๆ–นๅทฎ่พƒๅฐ็š„้ซ˜ๆ–ฏๅˆ†ๅธƒ๏ผŒ็ฅž็ป็ฝ‘็ปœๆ˜ฏไธ€ไธช้žๅ‡ธ้—ฎ้ข˜๏ผŒๅฑ€้ƒจๆœ€ๅฐๅ€ผไผ—ๅคš๏ผŒ็ฝ‘็ปœๆœ€
ๅŽๆ”ถๆ•›ๅˆฐ็š„ๆœ€ๅฐๅ€ผๅ–ๅพˆๅคง็จ‹ๅบฆไธŠๅ†ณไบŽๅˆๅง‹ๅ€ผ็š„้€‰ๅ–๏ผŒ้šๆœบ้€‰ๅ–ๅˆๅง‹ๅ€ผ่™ฝ็„ถๆ˜ฏไธ€ไธช
ๅฏ่กŒ็š„ๆ–นๆณ•๏ผŒไฝ†ๆ˜ฏๅฆ‚ๆžœๆˆ‘ไปฌ่ƒฝ่ฎฉๅ‚ๆ•ฐ็š„ๅˆๅง‹ๅ€ผ่ฎพๅฎšๅœจไธ€ไธช่พƒๅˆ็†็š„ๅˆๅง‹ๅ€ผ๏ผŒๅฐ†ไผš
ๅพˆๅคง็จ‹ๅบฆๅœฐๆ”นๅ–„็ฝ‘็ปœ็š„ๆ”ถๆ•›ๆ€ง่ƒฝ๏ผŒ่€Œๅ—้™็Žปๅฐ”ๅ…นๆ›ผๆœบไธ€ไธช้‡่ฆ็š„่ดก็ŒฎๅœจไบŽ๏ผŒๅฐ†ๆทฑ
ๅบฆ็ฅž็ป็ฝ‘็ปœ็š„ๅ‚ๆ•ฐๅˆๅง‹ๅŒ–ๅˆฐไธ€ไธช่พƒๅฅฝ็š„ๅ€ผใ€‚
ๆทฑๅบฆ็ฝฎไฟก็ฝ‘็ปœ็š„่ฎญ็ปƒๅˆ†ไธบไธคไธช้˜ถๆฎต๏ผŒๅˆ†ๅˆซๆ˜ฏ้ข„่ฎญ็ปƒ้˜ถๆฎตๅ’Œๅ‚ๆ•ฐๅพฎ่ฐƒ้˜ถๆฎตใ€‚
ๅœจDBN็š„้ข„่ฎญ็ปƒ้˜ถๆฎตไธญ๏ผŒๅฐ†็›ธ้‚ปไธคๅฑ‚็œ‹ๅšไธ€ไธชๅ—้™็Žปๅฐ”ๅ…นๆ›ผๆœบ๏ผŒ้‡‡็”จๅ—้™็Žปๅฐ”ๅ…น
ๆ›ผๆœบ็š„่ฎญ็ปƒๆ–นๆณ•๏ผŒๅฐ†ๅŽŸๅง‹ๆ•ฐๆฎไฝœไธบๆœ€ๅบ•ๅฑ‚็š„่พ“ๅ…ฅ๏ผŒๆฏๅฑ‚RBM้šๅซๅฑ‚็š„่พ“ๅ‡บไฝœไธบๅŽ
ไธ€ๅฑ‚็š„่พ“ๅ…ฅ๏ผŒ็„ถๅŽ่ฟ›่กŒ้€ๅฑ‚่ดชๅฉช็š„ๆ— ็›‘็ฃ่ฎญ็ปƒใ€‚ๅฏนไบŽๆฏๅฑ‚RBM๏ผŒๅ…ถ่ฎญ็ปƒ่ฟ‡็จ‹ๆ่ฟฐ
ๅฆ‚็ฎ—ๆณ•5-1ๆ‰€็คบ
- 54 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
Input: ็”ฑๅ‰ไธ€ๅฑ‚็ฝ‘็ปœๆไพ›็š„ๅซๆœ‰nไธชๆ ทๆœฌ็š„ๆ•ฐๆฎ
้›†S = {x
i
}
n
i=1
๏ผ›็ฝ‘็ปœๅ‚ๆ•ฐw, b
h
, b
v
๏ผ›ๅŠจ้‡้กน็ณปๆ•ฐp๏ผ›
ๅญฆไน ็Ž‡ฮท๏ผ›ๆƒ่กฐๅ‡็ณปๆ•ฐe๏ผ›CD-kไธญ็š„ๅ‚ๆ•ฐk
Output: ่ฎญ็ปƒๅฅฝ็š„็ฝ‘็ปœๅ‚ๆ•ฐ๏ผ›
็”ฑRBMๆๅ–ๅˆฐ็š„ๆ•ฐๆฎS
โ€ฒ
= {y
i
}
n
i=1
1 for i = 1;i โ‰ค 1; i + + do
2 v
0
= v
t
= x
i
3 h
0
= sampling h given v (v
0
)
4 for j = 0; j < k; j + + do
5 h
t
= sampling h given v (v
t
)
6 v
t
= sampling v given h (h
t
)
7 end
8 โˆ†
w
= v
T
t
โˆ— h
t
โˆ’ v
T
0
โˆ— h
0
9 โˆ†
b
v
= v
t
โˆ’ v
0
10 โˆ†
b
h
= h
t
โˆ’ h
0
11 w = e โˆ— (p โˆ— w + ฮท โˆ— โˆ†
w
)
12 b
v
= b
v
+ ฮท โˆ— โˆ†
b
v
13 b
h
= b
h
+ ฮท โˆ— โˆ†
b
h
14 y
i
= sampling h given v (x
i
)
15 end
็ฎ—ๆณ• 5-1 ๅ—้™็Žปๅฐ”ๅ…นๆ›ผๆœบ่ฎญ็ปƒ็ฎ—ๆณ•
็ฎ—ๆณ•5-1ไธญ๏ผŒๅญฆไน ็Ž‡ฮทใ€ๅŠจ้‡้กน็ณปๆ•ฐpไปฅๅŠๆƒ่กฐๅ‡็ณปๆ•ฐeๆˆ‘ไปฌๅฐ†ไผš็•™ๅˆฐ็ฝ‘็ปœ่ฎพ่ฎก
ๆŠ€ๅทงไธญ่ฎจ่ฎบ๏ผŒ่ฟ™ไบ›ๆŠ€ๅทงๅœจๆ•ฐๅญฆๆŽจๅฏผ็š„่ฟ‡็จ‹ไธญๆ˜ฏไธๅฟ…่ฆ็š„๏ผŒ็„ถ่€Œๅœจๅฎž้™…ๅทฅ็จ‹ไธญๆ˜ฏๅฟ…
่ฆ็š„๏ผŒๆœ‰ๆ—ถๅ€™็ผบไบ†ๅฎƒไปฌ็ฝ‘็ปœ่ฎญ็ปƒไผšๅคฑ่ดฅใ€‚ๅฝ“้€ๅฑ‚่ฎญ็ปƒๅฎŒๆฏ•ๅŽ๏ผŒ็ฝ‘็ปœ็š„ๅ‚ๆ•ฐๅทฒ็ปๅˆ
ๅง‹ๅŒ–ๅˆฐไธ€ไธช่พƒๅฅฝ็š„ไฝ็ฝฎ
[34]
ใ€‚ๅœจๅ‚ๆ•ฐๅพฎ่ฐƒ้˜ถๆฎต๏ผŒๆŽฅ็€ๆ‰ง่กŒๅ…จๅฑ€็š„ๅๅ‘ไผ ๆ’ญ็ฎ—ๆณ•่ฟ›
่กŒๆœ‰็›‘็ฃ็š„ๆƒๅ€ผๅพฎ่ฐƒใ€‚้€š่ฟ‡่ฟ™ๆ ท็š„ๆ–นๆณ•๏ผŒๅฏไปฅ้ฟๅ…ๅ•็บฏๅœฐไฝฟ็”จๅๅ‘ไผ ๆ’ญๆ–นๆณ•ไธญไผš
ๅ‡บ็Žฐ็š„้™ทๅ…ฅๅฑ€้ƒจๆœ€ไผ˜้—ฎ้ข˜๏ผŒ็”ฑไบŽ่ฏ†ๅˆซ็š„่ฟ‡็จ‹ไธญ๏ผŒๆ•ฐๆฎๆ˜ฏ้€ๅฑ‚ๅœฐ่ฟ›่กŒ็ปดๅบฆๅ˜ๅŒ–๏ผŒๆ‰€
ไปฅDBNไนŸๅฏไปฅ่ฎคไธบๆ˜ฏไธ€็ง็‰นๅพๆๅ–ๆ–นๆณ•๏ผŒๅฏนๅบ”็š„๏ผŒๆทฑๅบฆๅญฆไน ๆœ‰ๆ—ถๅ€™ไนŸ็งฐไน‹ไธบโ€œ็‰น
ๅพๅญฆไน โ€
[35]
ใ€‚
- 55 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
5.6 ๆœฌ็ซ ๅฐ็ป“
ๆœฌ็ซ ไธญ๏ผŒๆˆ‘ไปฌไปŽไผ ็ปŸ็š„็ฅž็ป็ฝ‘็ปœ่ฏด่ตท๏ผŒไป‹็ปไบ†็ฅž็ปๅ…ƒ็š„ๅทฅไฝœๅŽŸ็†ไปฅๅŠ็ฅž็ป็ฝ‘
็ปœ็š„ๅ‰ๅ‘ไผ ๆ’ญใ€‚ๅฝ“ๆ•ฐๆฎ็ป่ฟ‡็ฅž็ป็ฝ‘็ปœ็š„้€ๅฑ‚็ผ–็ ๅŽ๏ผŒๅพ—ๅˆฐ็š„็ผ–็ ๅนถไธๆ˜ฏไบบ็ฑปๆ‰€่ƒฝ
็†่งฃ็š„็ผ–็ ๏ผŒๅ› ๆญคๆˆ‘ไปฌไป‹็ปไบ†ไธค็งๅˆ†็ฑปๅ™จๅฐ†่ฟ™ไบ›็ผ–็ ่ฝฌๆขๆˆ่‡ช็„ถ่ฏญ่จ€ๆ‰€่ƒฝๆ่ฟฐ็š„
็ผ–็ ใ€‚้šๅŽๆˆ‘ไปฌไป‹็ปไบ†็ฅž็ป็ฝ‘็ปœ็š„ๅๅ‘ไผ ๆ’ญ็ฎ—ๆณ•๏ผŒๆœ€ๅŽๅผ•ๅ‡บๆทฑๅบฆ็ฝฎไฟก็ฝ‘็ปœใ€‚ๅฐฝ็ฎก
่ฟ™็ซ ๅไธบโ€œๆทฑๅบฆ็ฝฎไฟก็ฝ‘็ปœโ€๏ผŒๆˆ‘ไปฌๅดๅฏนโ€œๆทฑๅบฆ็ฝฎไฟก็ฝ‘็ปœโ€็š„ไป‹็ป็ฏ‡ๅน…ๅพˆ็Ÿญ๏ผŒไฝ†็”ฑ
ไบŽๆทฑๅบฆ็ฝฎไฟก็ฝ‘็ปœไธญๅนถๆฒกๆœ‰ๅคชๅคš้ขๅค–็š„ไธœ่ฅฟ๏ผŒๅพˆๅคšๆ€ๆƒณ้ƒฝๆ˜ฏไธŽไผ ็ปŸ็ฅž็ป็ฝ‘็ปœๆ˜ฏ็›ธๅŒ
็š„๏ผŒๆ‰€ไปฅๆˆ‘ไปฌ่Šฑไบ†่พƒๅคง็š„็ฏ‡ๅน…ๅ–ไป‹็ปไผ ็ปŸ็ฅž็ป็ฝ‘็ปœใ€‚ๅœจๆœฌ็ซ ไธญ๏ผŒๆˆ‘ไปฌไพ็„ถ็•™ไธ‹ไธ€
ไบ›้—ฎ้ข˜ๆฒกๆœ‰่งฃๅ†ณ๏ผŒๅณ่ฎญ็ปƒ่ฟ‡็จ‹ไธญ็š„ไธ€ไบ›้ขๅค–ๅ‚ๆ•ฐ๏ผŒไพ‹ๅฆ‚ๅญฆไน ็Ž‡ใ€ๅŠจ้‡้กน็ญ‰๏ผŒๅ…ณไบŽ
่ฟ™ไบ›ๅ†…ๅฎน๏ผŒ็”ฑไบŽๅ…ถๆ›ดๅๅ‘ไบŽๅทฅ็จ‹ๅ†…ๅฎน๏ผŒๆˆ‘ไปฌๅฐ†ๅ…ถ้›†ไธญๅˆฐโ€œ็ฅž็ป็ฝ‘็ปœ่ฎพ่ฎกๆŠ€ๅทงโ€็ซ 
่Š‚ไธญ่ฎจ่ฎบใ€‚
- 56 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
็ฌฌ 6 ็ซ  ๅท็งฏ็ฅž็ป็ฝ‘็ปœ
ๅท็งฏ็ฅž็ป็ฝ‘็ปœ็ตๆ„Ÿๆบ่‡ชๅ“บไนณๅŠจ็‰ฉ็š„่ง†่ง‰็ณป็ปŸ๏ผŒๅฎƒๆ˜ฏๅ”ฏไธ€ไธ€ไธชไธ้œ€่ฆ้ข„่ฎญ็ปƒไพฟ
่ƒฝ็›ดๆŽฅ่ฎญ็ปƒ็š„ๆทฑๅบฆ็ฝ‘็ปœใ€‚LeCunๅœจ1989ๅนด่ฎพ่ฎกไบ†็ฌฌไธ€ไธชๅท็งฏ็ฅž็ป็ฝ‘็ปœ๏ผŒๅนถๅฐ†่ฟ™ไธช
็ฝ‘็ปœ่ฟ็”จๅˆฐ้‚ฎ็ผ–ๆ•ฐๅญ—่ฏ†ๅˆซไธญๅ–ๅพ—ไบ†ๅพˆๅฅฝ็š„ๆ•ˆๆžœ๏ผŒ้šๅŽ๏ผŒๆ–‡็Œฎ[19]ๅฐ†ๅท็งฏ็ฅž็ป็ฝ‘็ปœ
ๅบ”็”จๅˆฐๆ–‡ๆกฃ่ฏ†ๅˆซไธญ๏ผŒๅฎž็Žฐไบ†ๅฏ็†่งฃๆ•ฐๅญ—ไธฒ็š„็ฝ‘็ปœ๏ผŒ่ฟ™ๆ˜ฏไธ€ไธช้‡ๅคง็š„็ช็ ด๏ผŒๅ› ไธบ่ฟ™
ๆถ‰ๅŠๅˆฐๆ•ฐๅญ—้—ด็š„ไธŠไธ‹ๆ–‡ใ€‚ไฝ†ๅท็งฏ็ฅž็ป็ฝ‘็ปœๅœจๆๅ‡บ็š„ไบŒๅๅคšๅนด้‡Œไธ€็›ด้ป˜้ป˜ๆ— ้—ป๏ผŒ็›ด
ๅˆฐๆœ€่ฟ‘ๅ‡ ๅนด๏ผŒไบบไปฌๅ‘็Žฐๅœจๅ›พๅƒ่ฏ†ๅˆซไธญๅท็งฏ็ฅž็ป็ฝ‘็ปœ็›ธๆฏ”ไบŽๅ…ถไป–็š„ๆจกๅž‹่ƒฝๆ›ดๅฅฝๅœฐ่ฟ›
่กŒ็‰นๅพๆๅ–ๆ‰่ขซ้‡่ง†ใ€‚็›ฎๅ‰๏ผŒๅ‡ ไนŽๆ‰€ๆœ‰ๆœ€ๅฅฝ็š„่ฏ†ๅˆซ็ณป็ปŸ้ƒฝๆ˜ฏๅŸบไบŽๅท็งฏ็ฅž็ป็ฝ‘็ปœ็š„๏ผŒ
ไปŽๆŸ็งๆ„ไน‰ไธŠ่€Œ่จ€๏ผŒๅท็งฏ็ฅž็ป็ฝ‘็ปœ็›ธๅฝ“ไบŽๆทฑๅบฆๅญฆไน ็š„ไปฃ่จ€ไบบใ€‚
6.1 ๅท็งฏ็ฅž็ป็ฝ‘็ปœ็ปผ่ฟฐ
ๅท็งฏ็ฅž็ป็ฝ‘็ปœๅฏไปฅ็œ‹ๅšๆ˜ฏไธ€็ง็‰นๆฎŠ็š„็ฅž็ป็ฝ‘็ปœ๏ผŒๅœจๆทฑๅบฆ็ฝฎไฟก็ฝ‘็ปœไธญ๏ผŒ็ฝ‘็ปœ่Š‚
็‚นๆ˜ฏๅ…จ่ฟžๆŽฅ็š„๏ผŒ่€Œๅท็งฏ็ฅž็ป็ฝ‘็ปœไธญ่ฟžๆŽฅๆ˜ฏๅฑ€้ƒจ็š„ใ€‚ๆญคๅค–๏ผŒๅท็งฏ็ฝ‘็ปœๅผบๅˆถๆƒๅ€ผๅ…ฑไบซ๏ผŒ
ๅฏนๆฏ”ไบŽๆทฑๅบฆ็ฝฎไฟก็ฝ‘็ปœ๏ผŒๅท็งฏ็ฝ‘็ปœ็š„่ฟ™ไบ›็‰นๆ€ง้ƒฝไฝ“็Žฐ็€้žๅธธๅผบ็š„ๆญฃๅˆ™ใ€‚
a) ๅ…จ่ฟžๆŽฅ็ฅž็ป็ฝ‘็ปœ b) ๅท็งฏ็ฅž็ป็ฝ‘็ปœ
ๅ›พ 6-1 ไบŒ็ปด่ง†่ง‰ไธ‹็š„ๅ…จ่ฟžๆŽฅ็ฅž็ป็ฝ‘็ปœไธŽๅท็งฏ็ฅž็ป็ฝ‘็ปœ
ๅฆ‚ๅ›พ6-1 a)ๆ‰€็คบไธบไผ ็ปŸ็š„ๅ…จ่ฟžๆŽฅ็ฅž็ป็ฝ‘็ปœ๏ผŒๆˆ‘ไปฌๅฏไปฅ็œ‹ๅˆฐ๏ผŒๆฏไธ€ไธชไธŠๅฑ‚่Š‚็‚นไธŽ
ไธ‹ๅฑ‚่Š‚็‚น้ƒฝๅซๆœ‰่ฟžๆŽฅ๏ผŒ่€Œๆ‰€ๆœ‰็š„่ฟžๆŽฅ้ƒฝๆ˜ฏ็‹ฌ็ซ‹ๆ— ๅ…ณ่”็š„๏ผŒๅณๆฏไธช่ฟžๆŽฅๆƒๅ€ผ้ƒฝไธ็›ธ
็ญ‰ใ€‚ๅฏนๅบ”็š„๏ผŒๅ›พ6-1 b)ๆ‰€็คบไธบๅท็งฏ็ฅž็ป็ฝ‘็ปœ๏ผŒๅœจ่ฟ™็ง็ฝ‘็ปœๆž„ๅž‹ไธญ๏ผŒๆฏไธชไธŠๅฑ‚่Š‚็‚นๅช
ไธŽ้ƒจๅˆ†็š„ไธ‹ๅฑ‚่Š‚็‚น่ฟžๆŽฅ๏ผŒๅนถไธ”๏ผŒ่ฟ™ไบ›่ฟžๆŽฅ็š„ๆƒๅ€ผๆ˜ฏๅ…ฑไบซ็š„๏ผŒๅณ็›ธๅŒ้ขœ่‰ฒ็š„่ฟžๆŽฅไปฃ
่กจๅ…ถๆƒๅ€ผ็›ธ็ญ‰ใ€‚ๅฑ€้ƒจ่ฟžๆŽฅๅฐ†ไผšๅคงๅคงๅ‡ๅฐ‘็ฝ‘็ปœ็š„่ฟžๆŽฅๆ•ฐ้‡๏ผŒ่€Œๆƒๅ€ผๅ…ฑไบซๅˆไผšๅคงๅคงๅ‡
ๅฐ‘็ฝ‘็ปœ็š„ๅ‚ๆ•ฐๆ•ฐ้‡ใ€‚ไพ‹ๅฆ‚ๅœจๅ›พ6-1 a)ไธญ๏ผŒ่ฟžๆŽฅๆ•ฐ้‡ไธบ3 ร— 5 = 15๏ผŒ็”ฑไบŽๆƒๅ€ผไธๅ…ฑไบซ๏ผŒ
ๅ…ถๅ‚ๆ•ฐๆ•ฐ้‡ไนŸๆ˜ฏ15ใ€‚่€Œๅ›พ6-1 b)็š„่ฟžๆŽฅๆ•ฐ้‡ไธบ3 ร— 3๏ผŒๆƒๅ€ผๅ…ฑไบซไฝฟๅพ—็ฝ‘็ปœ็š„ๅ‚ๆ•ฐๅช
ๆœ‰3ไธชใ€‚ๅท็งฏ็ฝ‘็ปœ็š„่ฎพ่ฎก็›ฎ็š„ๆ˜ฏ่ฎฉ็ฝ‘็ปœๆ‹ฅๆœ‰ๆ›ดๅคš็š„่ฟžๆŽฅ๏ผŒ่€Œๆ‹ฅๆœ‰ๆ›ดๅฐ‘็š„ๆƒๅ€ผใ€‚ๅฐฝ็ฎก
- 57 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
่ฟ™้‡Œ่ฟžๆŽฅๆ•ฐ้‡ไธŠๅท็งฏ็ฝ‘็ปœ่ฆๆฏ”ๅ…จ่ฟžๆŽฅ็ฝ‘็ปœๅฐ‘๏ผŒไฝ†ๆ˜ฏๆˆ‘ไปฌๅŽ้ขๅฐ†ไผš็œ‹ๅˆฐ๏ผŒๅท็งฏ็ฝ‘็ปœ
ๅฐ†้€š่ฟ‡ๅคšๅผ ็‰นๅพๅ›พๆž„้€ ๅ‡บๆ›ดๅคš็š„่ฟžๆŽฅใ€‚
ๅท็งฏ็ฅž็ป็ฝ‘็ปœ๏ผŒไธ€่ˆฌ็”จไบŽๅ›พๅƒ่ฏ†ๅˆซไธŽๅฃฐ้Ÿณ่ฏ†ๅˆซไธคไธช้ข†ๅŸŸ๏ผŒๅ› ไธบ่ฟ™ไธคไธช้ข†ๅŸŸๅธฆ
็€ๆ˜Žๆ˜พ็š„ไบŒ็ปด็‰นๆ€งใ€‚ไพ‹ๅฆ‚ๅœจๅ›พๅƒ่ฏ†ๅˆซไธญ๏ผŒๅ›พๅƒๅณๅฏไปฅ็œ‹ๅšๆ˜ฏ้ซ˜็ปด็š„๏ผŒไนŸๅฏไปฅ็œ‹ๅš
ๆ˜ฏไบŒ็ปด็š„๏ผŒๅฆ‚ๆžœๅฐ†ๅฎƒ็œ‹ๅš้ซ˜็ปด็š„๏ผŒ้‚ฃไนˆๅฐฑๆ˜ฏๅฐ†ๅƒ็ด ็‚นๅฑ•ๅผ€ๆˆไธบไธ€ไธช้ซ˜็ปดๅˆ—ๅ‘้‡๏ผŒ
ๅฑ•ๅผ€ๅŽ็š„ๅ›พๅƒๅฐ†ไธๅ†ๅ…ทๆœ‰ๅŽŸๅง‹็š„้ข่ฒŒใ€‚ๅฆ‚ๆžœๅฐ†ๅฎƒ็œ‹ๅšๆ˜ฏไบŒ็ปด็š„๏ผŒๅฐฑๆ˜ฏไฟ็•™ๅ›พๅƒ
็š„ๅŽŸ่ฒŒ๏ผŒๅˆฉ็”จไบŒ็ปด็š„ๅนณ้ข็›ด่ง’ๅๆ ‡็ณปๆฅๆ่ฟฐใ€‚ๅฃฐ้Ÿณไน‹ๆ‰€ไปฅๅฏไปฅ็œ‹ๅšไบŒ็ปด็š„๏ผŒๆ˜ฏๅ› 
ไธบๅฎƒๅธฆๆœ‰ๆ—ถ้—ด่ฟ™ไธ€็ปดๅบฆ๏ผŒๅ…ณไบŽ่ฏญ้Ÿณ่ฏ†ๅˆซ๏ผŒๆˆ‘ไปฌไธ่ฟ‡ๅคš่ฎจ่ฎบ๏ผŒๆ›ดๅคš็š„็ป†่Š‚่ฏทๅ‚่€ƒๆ–‡
็Œฎ[36โ€“38]ใ€‚
a) ๅ…จ่ฟžๆŽฅ็ฅž็ป็ฝ‘็ปœ b) ๅท็งฏ็ฅž็ป็ฝ‘็ปœ
ๅ›พ 6-2 ไธ‰็ปด่ง†่ง‰ไธ‹็š„ๅ…จ่ฟžๆŽฅ็ฅž็ป็ฝ‘็ปœไธŽๅท็งฏ็ฅž็ป็ฝ‘็ปœ
็”ฑไบŽๅท็งฏ็ฝ‘็ปœไฟ็•™ไบ†ๅ›พๅƒ็š„ไบŒ็ปด้ข่ฒŒ๏ผŒๅ› ๆญค็›ธๆฏ”ไบŽๅ…จ่ฟžๆŽฅ็ฅž็ป็ฝ‘็ปœ่€Œ่จ€๏ผŒๅ…ถ
็ฝ‘็ปœๆž„ๅž‹ๆ˜ฏไธ€ไธชไธ‰็ปดๆž„ๅž‹๏ผŒๅฆ‚ๅ›พ6-2 a)ๆ‰€็คบไธบไธ‰็ปด่ง†่ง‰ไธ‹ๅ…จ่ฟžๆŽฅ็ฅž็ป็ฝ‘็ปœใ€‚็”ฑไบŽไธŠ
ๅฑ‚่Š‚็‚นๆ˜ฏไธ€ไธช้ซ˜็ปดๅˆ—ๅ‘้‡๏ผŒๆˆ‘ไปฌๅฏไปฅ่ฎคไธบ่ฟ™ไธชๅ‘้‡ๆ˜ฏไธ€็ปด็š„๏ผŒๅนถไธ”่ฟ™ไธชๅ‘้‡้‡Œ็š„
ๆฏไธ€ไธชๅ…ƒ็ด ้ƒฝไธŽ่พ“ๅ…ฅๅ›พๅƒไธŠ็š„ๆฏไธ€ไธชๅƒ็ด ็‚น่ฟžๆŽฅ๏ผŒไธๅŒๅ…ƒ็ด ไน‹้—ด็š„่ฟžๆŽฅๆƒๅ€ผๆ˜ฏไธ
ๅŒ็š„ใ€‚่€Œๅ›พ6-2 b)ๆ‰€็คบๆ˜ฏไธ‰็ปด่ง†่ง‰ไธ‹็š„ๅท็งฏ็ฅž็ป็ฝ‘็ปœ๏ผŒๆˆ‘ไปฌๅฏไปฅ็œ‹ๅˆฐ๏ผŒไธŠๅฑ‚่Š‚็‚น
ๆ˜ฏไธ€ไธชไบŒ็ปด็Ÿฉ้˜ต๏ผŒๅ› ๆญคๅฎƒ็š„็‰นๅพๆˆ‘ไปฌๅฏไปฅ่ฎคไธบๆ˜ฏไบŒ็ปด็š„๏ผŒ่ฟ™ไบ›ไธŠๅฑ‚่Š‚็‚น็ป„ๆˆ็š„ไบŒ
็ปด็Ÿฉ้˜ตๆˆ‘ไปฌ็งฐไธบ็‰นๅพๅ›พ๏ผˆfeature map๏ผ‰๏ผŒ็‰นๅพๅ›พ้‡Œ็š„ๆฏไธ€ไธชๅ…ƒ็ด ๏ผŒ้ƒฝๅชไธŽ่พ“ๅ…ฅๅ›พๅƒ
ไธŠ็š„ไธ€ๅฐๅ—ๅŒบๅŸŸๆœ‰่ฟžๆŽฅ๏ผŒๅนถไธ”๏ผŒ็‰นๅพๅ›พ้‡Œ็š„ไธๅŒๅ…ƒ็ด ็š„่ฟžๆŽฅๆƒๅ€ผๆ˜ฏ็›ธ็ญ‰๏ผŒ่ฟ™ไบ›็›ธ
ๅŒ็š„่ฟžๆŽฅๆƒๅ€ผๆˆ‘ไปฌ็งฐไน‹ไธบๅท็งฏๆ ธ๏ผˆconvlution kernel๏ผ‰ใ€‚ๅ›พ6-2 b)ไป…ไป…ๆ˜ฏไธ€ๅผ ็‰นๅพๅ›พ๏ผŒ
ๅฎž้™…ไธญ็š„ๅท็งฏ็ฅž็ป็ฝ‘็ปœ๏ผŒๅพ€ๅพ€้€š่ฟ‡ๅคšไธชไธๅŒ็š„ๅท็งฏๆ ธ๏ผŒๅท็งฏๅ‡บๅคšๅผ ็‰นๅพๅ›พใ€‚
- 58 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
6.2 ๅท็งฏ็ฅž็ป็ฝ‘็ปœ็š„ๅ‰้ฆˆ
ไธ€ไธชๅฎŒๆ•ด็š„ๅท็งฏ็ฅž็ป็ฝ‘็ปœๅบ”ๅŒ…ๅซไธ‰ไธชๅ†…ๅฎน๏ผš ๅท็งฏๅฑ‚ใ€้‡‡ๆ ทๅฑ‚ไปฅๅŠๅ…จ่ฟžๆŽฅๅฑ‚๏ผŒ
ๅ…ณไบŽๅ„ๅฑ‚็š„็ป†่Š‚ไปฅๅŠไฝœ็”จๆˆ‘ไปฌๅฐ†ๅœจๅŽ้ข็š„ๅฐ่Š‚ไธญๅ™่ฟฐ๏ผŒ็Žฐๅœจ่ฎฉๆˆ‘ไปฌๅ…ˆๅคง่‡ดไบ†่งฃๅท
็งฏ็ฅž็ป็ฝ‘็ปœ็š„็ป“ๆž„ใ€‚ๅฆ‚ๅ›พ6-3ๆ‰€็คบๆ˜ฏๅท็งฏ็ฅž็ป็ฝ‘็ปœๅ…ถ็ฝ‘็ปœๆž„ๅž‹
ๅ›พ 6-3 ๅท็งฏ็ฅž็ป็ฝ‘็ปœ็ฝ‘็ปœๆž„ๅž‹
ๅœจ่ฟ™็ง็ป“ๆž„ไธญ๏ผŒๅท็งฏๅฑ‚ไธŽ้‡‡ๆ ทๅฑ‚ไบค้”™ๅ‡บ็Žฐ๏ผŒๅœจ็ฝ‘็ปœ้กถ็ซฏ้‡‡็”จๅ…จ่ฟžๆŽฅ็ฅž็ป็ฝ‘็ปœ
ๆˆ–ๅ…ถไป–ๅˆ†็ฑปๅ™จใ€‚ๅ›พไธญๅท็งฏๅฑ‚้‡Œ็š„ๆฏไธ€ๅผ ็‰นๅพๅ›พ๏ผŒๅ…ถๆ‰ง่กŒ่ฟ‡็จ‹้ƒฝๅฆ‚ๅ›พ6-2 b)ๆ‰€็คบ๏ผŒ่ฟ™
ไบ›ไธๅŒ็š„็‰นๅพๅ›พๅฏนๅบ”็€ไธๅŒ็š„ๅท็งฏๆ ธ๏ผŒๅคšๅผ ็‰นๅพๅ›พ๏ผŒๅขžๅŠ ไบ†็ฝ‘็ปœ็š„่ฟžๆŽฅๆ•ฐ็›ฎ๏ผŒไฝ†
็”ฑไบŽๆฏๅผ ็‰นๅพๅ›พๅชๅฏนๅบ”ไธ€ไธชๅท็งฏๆ ธ๏ผŒๆ‰€ไปฅ็ฝ‘็ปœ็š„ๅ‚ๆ•ฐ๏ผˆๅณๅท็งฏๆ ธ๏ผ‰็š„ๆ•ฐ็›ฎ็›ธๆฏ”ไธŽ
ๅ…จ่ฟžๆŽฅ็ฅž็ป็ฝ‘็ปœๅ‚ๆ•ฐ็š„ๆ•ฐ็›ฎ่€Œ่จ€ๆ˜ฏๅพˆๅฐ็š„ใ€‚
6.2.1 ๅท็งฏ
ๅท็งฏ็ฅž็ป็ฝ‘็ปœๆ‰€ไฝฟ็”จ็š„ๅท็งฏๅณไบŒ็ปด็ฆปๆ•ฃๅท็งฏ๏ผŒๅ…ถๅฎšไน‰ไธบ
y[s, t] =
m
1
+m
2
โˆ’1
๎˜
i=1
n
1
+n
2
โˆ’1
๎˜
j=1
x[i, j] ยท k[s โˆ’ i + 1, t โˆ’ j + 1]
1 โ‰ค s โ‰ค m
1
+ m
2
โˆ’ 1
1 โ‰ค t โ‰ค n
1
+ n
2
โˆ’ 1
(6-1)
ๅผไธญ๏ผŒxไธบm
1
ร— n
1
็š„็Ÿฉ้˜ต๏ผŒ็งฐไธบๅŽŸๅง‹ๆ•ฐๆฎ๏ผŒx[i, j]ไปฃ่กจxไธญ็š„็ฌฌi่กŒ็ฌฌ jๅˆ—ๅ…ƒ็ด ใ€‚
kไธบm
2
ร— n
2
็š„็Ÿฉ้˜ต๏ผŒ็งฐไธบๅท็งฏๆ ธ๏ผŒk [i, j]ไปฃ่กจkไธญ็š„็ฌฌi่กŒ็ฌฌ jๅˆ—ๅ…ƒ็ด ใ€‚yไธบ(m
1
+ m
2
โˆ’
1) ร— (n
1
+ n
2
โˆ’ 1)็š„็Ÿฉ้˜ต๏ผŒ็งฐไธบๅท็งฏ็ป“ๆžœ๏ผŒy[i, j]ไปฃ่กจyไธญ็š„็ฌฌi่กŒ็ฌฌ jๅˆ—ๅ…ƒ็ด ใ€‚ๅฆ‚ๆžœไปŽ
ๅ›พๅƒไธŠๆฅ่งฃ้‡ŠไบŒ็ปด็ฆปๆ•ฃๅท็งฏ๏ผŒๅท็งฏๅฑ‚็š„ๆ“ไฝœ็›ธๅฝ“ไบŽๅ›พ6-4ๆ‰€ๆ่ฟฐ็š„่ฟ‡็จ‹ใ€‚ๅ›พไธญ๏ผŒๅŽŸ
ๅง‹ๅ›พๅƒๆ˜ฏไธ€ๅผ 5 ร— 5ๅƒ็ด ็š„ๆ•ฐๅญ—โ€œ4โ€็š„ไบŒๅ€ผๅ›พๅƒ๏ผŒๅฆ‚ๆžœๆˆ‘ไปฌๅฎšไน‰ๅท็งฏๆ ธไธบ
kernel =
๏ฃฎ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฐ
0 0 0
0 2 0
0 0 0
๏ฃน
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃป
(6-2)
- 59 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ๅ›พ 6-4 ๅท็งฏ็ฅž็ป็ฝ‘็ปœ็ฝ‘็ปœๆž„ๅž‹
้‚ฃไนˆ็ป่ฟ‡ไบŒ็ปด็ฆปๆ•ฃๅท็งฏๅŽ๏ผŒๅ…ถๅพ—ๅˆฐ็š„ๅท็งฏ็ป“ๆžœไธบ
y = x โˆ— kernel =
๏ฃฎ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฐ
2 0 2
2 2 2
0 0 2
๏ฃน
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃป
(6-3)
ๅฐ†ๅท็งฏ็ป“ๆžœๅ†็ป่ฟ‡ไธ€ไธช้˜ถ่ทƒๅ‡ฝๆ•ฐ่ฟ›่กŒ้ž็บฟๆ€งๅ˜ๆขๅŽ๏ผŒๆˆ‘ไปฌๅฏไปฅ็œ‹ๅˆฐ๏ผŒๅท็งฏๅฑ‚้€š่ฟ‡
ๅผ(6-2)ไธญๅฎšไน‰็š„ๅท็งฏๆ ธๅฏนๅŽŸๅง‹ๅ›พๅƒ๏ผˆๅณๆ•ฐๅญ—4๏ผ‰่ฟ›่กŒๅท็งฏๅŽ๏ผŒๅ…ถ้ž็บฟๆ€งๅŒ–ๅŽ็š„็ป“ๆžœ
ไพ็„ถไฟ็•™็€ๆ•ฐๅญ—4็š„็‰นๅพใ€‚็”ฑไบŽๅท็งฏๆ ธๆ˜ฏๅ›บๅฎš็š„๏ผŒๅ› ๆญคๅท็งฏๆ“ไฝœ็ปๅธธ่ขซ่ฎคไธบๆ˜ฏไธ€็ง
ๆปคๆณข๏ผŒๅณ็”จๅท็งฏๆ ธๅŽปๆฃ€ๆต‹็‰นๅพ๏ผŒๅฐ†่ฟ™ไบ›็‰นๅพๆๅ–ๅ‡บๆฅใ€‚
ๅ›พ6-4ๅชๆ˜ฏๅˆฉ็”จไธ€ไธชๅท็งฏๆ ธๅฏนๅŽŸๅง‹ๅ›พ็‰‡่ฟ›่กŒๅท็งฏๅพ—ๅˆฐไธ€ๅผ ็‰นๅพๅ›พ๏ผŒไบ‹ๅฎžไธŠ๏ผŒๆญฃ
ๅฆ‚ๅ›พ6-3ๆ‰€็คบ๏ผŒๅฆ‚ๆžœๆˆ‘ไปฌๅˆฉ็”จๅคšไธชๅท็งฏๆ ธๅฏนๅŽŸๅง‹ๅ›พๅƒ่ฟ›่กŒๅท็งฏ๏ผŒ้‚ฃไนˆไพฟๅฏไปฅๅพ—ๅˆฐๅคš
ๅผ ็‰นๅพๅ›พใ€‚ๅคšๅผ ็‰นๅพๅ›พ๏ผŒๆ„ๅ‘ณ็€ๅฏไปฅๆๅ–ๅˆฐๅŽŸๅง‹ๅ›พๅƒ็š„ๅคšไธช็‰นๅพ๏ผŒไพ‹ๅฆ‚ๅœจๆ‰‹ๅ†™ๆ•ฐ
ๅญ—่ฏ†ๅˆซไธญ๏ผŒๆˆ‘ไปฌๆๅ–ไบ†ไธ‰ๅผ ็‰นๅพๅ›พ๏ผŒๅ…ถไธญไธ€ๅผ ็‰นๅพๅ›พ่กจๆ˜ŽๅทฆไธŠ่ง’ๆœ‰ไธ€็‚น๏ผŒไธ€ๅผ ็‰น
ๅพๅ›พ่กจๆ˜ŽๅณไธŠ่ง’ๆœ‰ไธ€ไธชๆŠ˜็บฟ๏ผŒๅ‰ฉไธ‹็š„ไธ€ๅผ ็‰นๅพๅ›พ่กจๆ˜Žๅณไธ‹่ง’ๆœ‰ไธ€ไธช็‚น๏ผŒ้‚ฃไนˆ้€š่ฟ‡
่ฟ™ไธ‰ๅผ ็‰นๅพๅ›พ๏ผŒๆˆ‘ไปฌๅฐฑๅฏไปฅๅˆคๅฎš่ฟ™ไธชๆ•ฐๅญ—ๆ˜ฏโ€œ7โ€ใ€‚็‰นๅพๅ›พ็š„ไฝœ็”จ๏ผŒๅœจไบŽ้™ไฝŽๆ•ฐๆฎ
็š„ๅ†—ไฝ™ไฟกๆฏ๏ผŒไพ‹ๅฆ‚โ€œ7โ€่ฟ™ไธชๆ•ฐๅญ—ไธญ๏ผŒๆจช็บฟไบ‹ๅฎžไธŠๅช้œ€่ฆไธคไธช็‚นๅฐฑๅฏไปฅ็กฎๅฎšไธ€ๆก็›ด
็บฟ๏ผŒ็ซ–็บฟไนŸๅŒ็†ๅช้œ€่ฆไธค็‚นไพฟๅฏ็กฎๅฎšไธ€ๆก็›ด็บฟ๏ผŒ็„ถ่€Œๆจช็บฟไธŽ็ซ–็บฟไน‹้—ดๅญ˜ๅœจไธ€ไธช็›ธ
ๅฏนไฝ็งป๏ผŒๅ› ๆญคๆŠ˜็บฟ็š„ไฝœ็”จไพฟๆ˜ฏๅˆป็”ป็›ธๅฏนไฝ็งป็š„ใ€‚
ๅ›พ6-4ไธญ็š„ไพ‹ๅญๅช้’ˆๅฏนไธŽๅŽŸๅง‹่พ“ๅ…ฅๆ•ฐๆฎๆ˜ฏไธ€ๅผ ๅ›พๅƒ็š„ๆƒ…ๅ†ต๏ผŒๅฎž้™…ไธŠ๏ผŒๅท็งฏๆ“ไฝœ
ๅบ”่ฏฅๆณ›ๅŒ–ๅˆฐ่พ“ๅ…ฅๅ›พๅƒไธบๅคšๅผ ็š„ๆƒ…ๅ†ตใ€‚ไพ‹ๅฆ‚๏ผŒๅ›พ6-3ไธญ็š„็ฌฌไบŒไธชๅท็งฏๅฑ‚๏ผŒๅ…ถ่พ“ๅ…ฅๅ›พๅƒ
ไพฟๆ˜ฏๅคšๅผ ๅ›พๅƒใ€‚ๅฎž้™…ไธญ๏ผŒ่พ“ๅ…ฅๅ›พๅƒไนŸไธๅคชๅฏ่ƒฝๆ˜ฏไธ€ๅผ ๅ›พๅƒ๏ผŒไธ€ๅผ ่พ“ๅ…ฅๅ›พๅƒ็š„ๆƒ…ๅ†ต
ๅพ€ๅพ€ๅชๅ‡บ็ŽฐไบŽ็ฐๅบฆๅ›พๅƒไธญใ€‚็„ถ่€Œๅœจๅฝฉ่‰ฒๅ›พๅƒไธญ๏ผŒๆˆ‘ไปฌ็Ÿฅ้“๏ผŒๅฝฉ่‰ฒๅ›พๅƒๆ˜ฏๅ…ทๆœ‰ไธ‰ๅผ 
็Ÿฉ้˜ต็š„๏ผŒๅˆ†ๅˆซไปฃ่กจ็บข๏ผˆR๏ผ‰ใ€็ปฟ๏ผˆG๏ผ‰ใ€่“๏ผˆB๏ผ‰ใ€‚ๅฏนไบŽ่พ“ๅ…ฅๅ›พๅƒไธบๅคšๅผ ็š„ๆƒ…ๅ†ต๏ผŒ่งฃๅ†ณ
- 60 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
็š„ๆ–นๆณ•ๆœ‰ไธค็งใ€‚ไธ€็งๆ˜ฏๅˆฉ็”จๅŒไธ€ไธชๅท็งฏๆ ธๅŽปๅท็งฏๆ‰€ๆœ‰็š„n่พ“ๅ…ฅๅ›พๅƒ๏ผŒๅฐ†ๅพ—ๅˆฐ็š„nๅผ 
ๅท็งฏ็ป“ๆžœ่ฟ›่กŒ็›ธๅŠ ๅˆๅนถๆˆไธบไธ€ๅผ ๏ผŒๅœจๅฐ†ๅฎƒ่ฟ›่กŒ้ž็บฟๆ€งๆ˜ ๅฐ„๏ผŒไปŽ่€Œๅพ—ๅˆฐไธ€ๅผ ็‰นๅพๅ›พ๏ผŒ
่ฟ™ไธช่ฟ‡็จ‹ๅฆ‚ๅ›พ6-5ๆ‰€็คบใ€‚
ๅ›พ 6-5 ไฝฟ็”จๅŒไธ€ๅท็งฏๆ ธๅท็งฏๅคšๅผ ๅ›พๅƒ
ๅฆๅค–ไธ€็ง่งฃๅ†ณๆ–นๆณ•ๆ˜ฏ๏ผŒๅ‡่ฎพๆˆ‘ไปฌๆœ‰mๅผ ่พ“ๅ…ฅ็‰นๅพๅ›พ๏ผŒ่€Œๆˆ‘ไปฌๆƒณ่ฆๅท็งฏๅŽๅพ—ๅˆฐn
ๅผ ่พ“ๅ‡บ็‰นๅพๅ›พ๏ผŒ้‚ฃไนˆๆˆ‘ไปฌไฝฟ็”จm ร— n ไธชๅท็งฏๆ ธ๏ผŒไปคk
i, j
ไปฃ่กจไปŽ็ฌฌiๅผ ่พ“ๅ…ฅ็‰นๅพๅ›พๆ˜ ๅฐ„
ๅˆฐ็ฌฌ jๅผ ่พ“ๅ‡บ็‰นๅพๅ›พ่ฟ™ไธช่ฟ‡็จ‹ไธญๆ‰€้œ€่ฆไฝฟ็”จ็š„ๅท็งฏๆ ธ๏ผŒb
j
ไปฃ่กจๅท็งฏๅฎŒๆˆๅŽ็ฌฌ jๅผ ็‰น
ๅพๅ›พๆ‰€่ฆๅŠ ไธŠ็š„ๅ็ฝฎ๏ผŒ้‚ฃไนˆๅท็งฏๆ“ไฝœๅฐฑๅฏไปฅๆ่ฟฐไธบ๏ผš
๎€”
M
1
, M
2
, ยทยทยท , M
m
๎€•
๎€พ
๏ฃฎ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฐ
k
1,1
k
1,2
, ยทยทยท , k
1,n
k
2,1
k
2,2
, ยทยทยท , k
2,n
.
.
.
.
.
.
.
.
.
.
.
.
k
m,1
k
m,2
, ยทยทยท , k
m,n
๏ฃน
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃป
๎€
๎€”
b
1
, b
2
, ยทยทยท , b
n
๎€•
=
๎€”
M
1
, M
2
, ยทยทยท , M
n
๎€•
(6-4)
ๅผไธญ๏ผŒ
๎€ˆ
M
i
๎€‰
m
i=1
ไธบmๅผ ่พ“ๅ…ฅ็‰นๅพๅ›พ๏ผŒ
๎€ˆ
M
j
๎€‰
n
j=1
ไธบnๅผ ่พ“ๅ‡บๅท็งฏ็ป“ๆžœ๏ผŒ๎€ไธบ้ขๅ‘ๅ…ƒ็ด ็š„ๅŠ 
ๆณ•๏ผŒ๎€พๆ˜ฏๆˆ‘ไปฌๆๅ‡บ็š„ไธ€็ง่ฟ็ฎ—๏ผŒๅ…ถ่ฟ็ฎ—ไธŽ็Ÿฉ้˜ตไน˜ๆณ•็ฑปไผผ๏ผŒๅ”ฏไธ€ไธๅŒๆ˜ฏๅœจๅ…ƒ็ด ๆ“ไฝœ
ๆ—ถ๏ผŒ็Ÿฉ้˜ตไน˜ๆณ•ๆ‰ง่กŒ็š„ๆ˜ฏไน˜ๆณ•ๆ“ไฝœ๏ผŒ่€Œ๎€พๆ‰ง่กŒ็š„ๆ˜ฏๅท็งฏๆ“ไฝœใ€‚ๅท็งฏๆ“ไฝœๅฎŒๆˆๅŽ๏ผŒๅ†่ฟ›
่กŒ้ž็บฟๆ€งๆ˜ ๅฐ„๏ผŒๅณๅฏๅพ—ๅˆฐๅคšๅผ ็‰นๅพๅ›พใ€‚ๅผ(6-4)ๅฎž้™…ไธŠ็ฑปไผผไบŽๅ…จ่ฟžๆŽฅ็ฅž็ป็ฝ‘็ปœ็š„ๅ‰
ๅ‘ไผ ๆ’ญ๏ผŒไฝ†ๆ˜ฏไธๅŒ็š„ๆ˜ฏ๏ผŒๅ…จ่ฟžๆŽฅ็ฅž็ป็ฝ‘็ปœไธญ๏ผŒm ร— n็Ÿฉ้˜ต้‡Œ็š„ๆฏไธ€ไธชๅ…ƒ็ด ไปฃ่กจ่ฟžๆŽฅ
ๆƒๅ€ผ๏ผŒๆ˜ฏไธ€ไธชๅธธๆ•ฐ๏ผŒ่€Œๅผ(6-4)ไธญ๏ผŒm ร— n็Ÿฉ้˜ต้‡Œ็š„ๆฏไธ€ไธชๅ…ƒ็ด ไปฃ่กจไธ€ไธชๅท็งฏๆ ธ๏ผŒๆ˜ฏ
ไธ€ไธช็Ÿฉ้˜ตใ€‚ๅฆๅค–ไธ€ไธชไธๅŒ็‚นๅœจไบŽ๏ผŒๅ…จ่ฟžๆŽฅ็ฅž็ป็ฝ‘็ปœๆ‰ง่กŒ็š„ๆ˜ฏไน˜ๆณ•๏ผŒ่€Œๅผ(6-4)ไธญๆ‰ง
่กŒ็š„ๆ˜ฏๅท็งฏใ€‚
ไบ‹ๅฎžไธŠ๏ผŒ็ฌฌไธ€็ง่งฃๅ†ณๆ–นๆกˆๅชๆ˜ฏ็ฌฌไบŒไธญ่งฃๅ†ณๆ–นๆกˆ็š„็‰นไพ‹๏ผŒๅœจ็ฌฌไธ€็ง่งฃๅ†ณๆ–นๆกˆไธญ๏ผŒ
ๅฎž้™…ไธŠ็›ธๅฝ“ไบŽK
mร—n
ไธญ็š„ๆฏไธ€ๅˆ—้ƒฝๅผบๅˆถ็›ธ็ญ‰๏ผŒๅณ
k
1,1
= k
2,1
= ยทยทยท = k
m,1
(6-5)
ๅ› ๆญค๏ผŒ็ฌฌไธ€็ง่งฃๅ†ณๆ–นๆกˆๆ„ๅ‘ณ็€ๆ›ดๅผบ็š„ๆญฃๅˆ™๏ผŒๆˆ–่€…่ฏดๆ›ดๅผบ็š„ๆƒฉ็ฝš๏ผŒๅ› ไธบๅฎƒๅผบๅˆถๆฏไธ€
ๅˆ—็š„ๅท็งฏๆ ธ้ƒฝ็›ธ็ญ‰ใ€‚ไฝ†ๆ˜ฏๆˆ‘ไธชไบบ่ฎคไธบ๏ผŒๅฐฝ็ฎก่ฟ™็งๆ–นๆณ•็กฎๅฎž่ƒฝๅทฅไฝœๅพ—ๅพˆๅฅฝ๏ผŒไฝ†่ฟ™ๆ˜ฏ
- 61 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ไธๅคชๅˆ็†็š„ใ€‚ไพ‹ๅฆ‚ๅœจๅ›พๅƒไธญ๏ผŒไธ‰ไธช่พ“ๅ…ฅๅ›พๅƒ๏ผŒไนŸๅฐฑๆ˜ฏRGBไธ‰ไธช็Ÿฉ้˜ต๏ผŒ้‡‡็”จ็ฌฌไธ€็ง
ๆ–นๆกˆๆ„ๅ‘ณ็€ๅฏนไธ‰ไธช้ขœ่‰ฒ้ƒฝๅŒ็ญ‰ๅฏนๅพ…๏ผŒๅ› ไธบไฝœ็”จๅœจไธ‰ไธช็Ÿฉ้˜ตไธŠ็š„ๅท็งฏๆ ธๆ˜ฏ็›ธๅŒ็š„ใ€‚
ไฝ†ๆˆ‘ไปฌ็›ด่ง‰ไธŠๅฏไปฅๆ„Ÿ่ง‰ๅˆฐ๏ผŒ่ฟ™ไธ‰็ง้ขœ่‰ฒไธๅบ”่ฏฅๅŒ็ญ‰ๅฏนๅพ…๏ผŒ่€Œๅบ”ๅŒบๅˆ†ๅผ€ๆฅ๏ผŒๅ› ๆญคๅœจ
ๅพ€ๅŽ็š„่ฎจ่ฎบไธญ๏ผŒๆˆ‘ไปฌๅช่ฎจ่ฎบ็ฌฌไบŒ็ง่งฃๅ†ณๆ–นๆกˆใ€‚
6.2.2 ้‡‡ๆ ท
ๅท็งฏๅพ—ๅˆฐ็š„็‰นๅพๅ›พ๏ผŒ้œ€่ฆ็ป่ฟ‡ไธ€ไธช้‡‡ๆ ทๅฑ‚๏ผŒ้‡‡ๆ ทๅฑ‚ๆ˜ฏ้’ˆๅฏนๆฏไธ€ๅผ ็‰นๅพๅ›พ็š„๏ผŒ
ๅณๅ„ๅผ ็‰นๅพๅ›พ็š„้‡‡ๆ ทๆ—ถ็‹ฌ็ซ‹ไบ’ไธๅนฒๆ‰ฐ็š„๏ผŒๅ› ๆญค้‡‡ๆ ทๅพ—ๅˆฐ็š„็‰นๅพๅ›พไธŽๅŽŸๅง‹็š„็‰นๅพๅ›พ
ไน‹้—ดๆ˜ฏไธ€ไธ€ๅฏนๅบ”ๅ…ณ็ณปใ€‚ๅ‡่ฎพๆˆ‘ไปฌไฝฟ็”จไธ€ไธชๅ‡ๅ€ผ้‡‡ๆ ท๏ผŒๅฏนไบŽไธ€ไธช4 ร— 4็š„็‰นๅพๅ›พ๏ผŒๆˆ‘
ไปฌๅฏนๅ…ถๆฏ2 ร— 2ๅŒบๅŸŸๅ†…ๅ–ๅนณๅ‡๏ผŒๅณ
๏ฃฎ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฐ
1 1 2 2
1 1 2 2
3 3 4 4
3 3 4 4
๏ฃน
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃป
โ†’
๏ฃฎ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฐ
1 2
3 4
๏ฃน
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃป
(6-6)
้‡‡ๆ ทๅฑ‚็š„ไฝœ็”จๅœจไบŽๅŽ‹็ผฉๆ•ฐๆฎ๏ผŒไฝฟๅพ—็ปดๅบฆไธ่‡ณไบŽๅฟซ้€Ÿๅขž้•ฟใ€‚ๆƒณ่ฑกไธ€ไธชๅŽŸๆœฌ
ไธบ6 ร— 6ๅƒ็ด ็š„ๅŽŸๅง‹ๅ›พ็‰‡๏ผŒๅœจ็ป่ฟ‡ไธ€ไธช3 ร— 3็š„ๅท็งฏๆ ธ่ฟ›่กŒๅท็งฏๅŽ๏ผŒๅพ—ๅˆฐ็š„็‰นๅพๅ›พๅคง
ๅฐไธบ4 ร— 4๏ผŒไฝ†่ฟ™ๅชๆ˜ฏไธ€ๅผ ็‰นๅพๅ›พ๏ผŒ็”ฑไบŽๅœจๅท็งฏๅฑ‚ไธญๆˆ‘ไปฌๅพ€ๅพ€ไฝฟ็”จๅคšไธชๅท็งฏๆ ธ่ฟ›่กŒ
ๅท็งฏ๏ผŒๅ‡่ฎพๆˆ‘ไปฌ่ฎพๅฎšๅท็งฏๅฑ‚็š„่พ“ๅ‡บ็‰นๅพๅ›พๆ€ป้‡ไธบ50๏ผŒ้‚ฃไนˆๅฐ†ไผšๆœ‰50 ร—4 ร—4 = 800ไธช
่Š‚็‚น๏ผŒ่€ŒๅŽŸๆฅ็š„่Š‚็‚นๅชๆœ‰5 ร— 5 = 25ไธช่Š‚็‚น๏ผŒ่ฟ™ๅฐ†ไผšไฝฟ่Š‚็‚นๅขžๅŠ ไบ†32ๅ€ใ€‚้‡‡ๆ ทๅฑ‚ไธ€
่ˆฌ้ƒฝๆ˜ฏๅฏนๅท็งฏๅพ—ๅˆฐ็š„็‰นๅพๅ›พ่ฟ›่กŒ2ๅ€็š„็ผฉๅฐ๏ผŒไป…ๆญค็ป่ฟ‡้‡‡ๆ ทๅฑ‚ๅŽ๏ผŒ็‰นๅพๅ›พ็š„ๅคงๅฐ
ไธบ2 ร— 2๏ผŒๆญคๆ—ถ็š„่Š‚็‚นไป…ไธบ50 ร— 2 ร— 2 = 200ไธชใ€‚
ๅฆไธ€ๆ–น้ข๏ผŒ้‡‡ๆ ทๅฑ‚ๅฏไปฅๆŠ‘ๅˆถไฝ็งป็š„ๅ˜ๅŒ–๏ผŒๅท็งฏๅพ—ๅˆฐ็š„็‰นๅพๅ›พ๏ผŒๅœจ็ป่ฟ‡ๅฐๅŒบๅŸŸ
ๅ†…็š„ๅนณๅ‡ๅŽ๏ผŒๅผฑๅŒ–ไบ†ๅ…ถ็ปๅฏนไฝ็ฝฎ๏ผŒ่€Œไฟ็•™ไบ†ๅ…ถ็›ธๅฏนไฝ็ฝฎ๏ผŒ้œ€่ฆๆณจๆ„็š„ๆ˜ฏ๏ผŒ่ฟ™้‡Œ็š„
ไฝ็งปๅนถไธไป…ไป…ๅชๆฌงๅผ่ท็ฆป้‡Œ็š„ไฝ็งป๏ผŒ่ฟ˜ๅบ”ๅŒ…ๆ‹ฌๅ›พๅƒ็š„ไผธ็ผฉ๏ผŒๆ—‹่ฝฌ็ญ‰๏ผŒๆ‰€ไปฅ่ฟ™ไธชไฝ
็งปๅบ”็†่งฃไธบๅนฟไน‰็š„ไฝ็งปใ€‚
้‡‡ๆ ท็š„ๆ–นๆณ•้™คไบ†ไธŠ้ขๆๅˆฐ็š„ๅนณๅ‡้‡‡ๆ ทๆ–นๆกˆ๏ผŒ่ฟ˜ๆœ‰ไธ€ไบ›ๅˆซ็š„ๆ–นๆกˆ๏ผŒไพ‹ๅฆ‚xxxๆ–‡็Œฎ
ไธญไป‹็ปไบ†ไธ€็ง่‡ชๅญฆไน ็š„้‡‡ๆ ท๏ผŒๅณๅฐๅŒบๅŸŸๅ†…ๅนถไธๆ˜ฏ็ฎ€ๅ•็š„ๆฑ‚ๅ’Œๅ–ๅนณๅ‡๏ผŒ่€Œๆ˜ฏ็ฑปไผผไบŽ
ๅŠ ๆƒๆฑ‚ๅ’Œๅ–ๅนณๅ‡๏ผŒ่ฟ™ไบ›ๆƒๅ€ผไพฟๆ˜ฏๆ‰€้œ€่ฆๅญฆไน ็š„ๅ‚ๆ•ฐใ€‚่ฟ™ไธค็งๆ–นๆกˆๅนถๆฒกๆœ‰ๅญฐๅŠฃๅญฐไผ˜
็š„่ฏดๆณ•๏ผŒๅฎž้™…ไธŠไธค่€…้ƒฝ่ƒฝๅพˆๅฅฝ็š„ๅทฅไฝœ๏ผŒไฝ†่‡ชๅญฆไน ็š„ๆ–นๆณ•็กฎๅฎžๆ˜ฏไผšๆฏ”็ฎ€ๅ•็š„ๅนณๅ‡้‡‡
ๆ ทๅฅฝไธ€ไบ›๏ผŒไฝ†็”ฑไบŽๅนณๅ‡้‡‡ๆ ทๆ›ด็ฎ€ๅ•๏ผŒๆ‰€ไปฅๆˆ‘ไปฌๅพ€ๅŽ็š„่ฎจ่ฎบๅชไฝฟ็”จๅนณๅ‡้‡‡ๆ ทใ€‚
- 62 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
6.2.3 ๅˆ†็ฑปๅ™จ
ๅŽŸๅง‹่พ“ๅ…ฅๆ•ฐๆฎ็ป่ฟ‡ๅคšๆฌกๅท็งฏ้‡‡ๆ ทๅŽ๏ผŒ็‰นๅพๅ›พ็š„ๅฐบๅฏธไธๆ–ญ็ผฉๅฐ๏ผŒๆœ€ๅŽๅฐ†ไฝฟๅพ—ๅท
็งฏๆ— ๆณ•ๅ†่ฟ›่กŒ๏ผŒๆญคๆ—ถ๏ผŒๆˆ‘ไปฌๅฐ†่ฟ™ไบ›้žๅธธๅฐ็š„็‰นๅพๅ›พๅฑ•ๅผ€ๆˆไธบไธ€ไธชๅˆ—ๅ‘้‡ใ€‚ไพ‹ๅฆ‚๏ผŒ
ไธ€ไธชๅŽŸๅง‹ๅ›พ็‰‡ไธบ32 ร— 32ๅคงๅฐ็š„ๅ›พๅƒ๏ผŒ็ป่ฟ‡ไธ€ไธช5 ร— 5ๅคงๅฐ็š„ๅท็งฏๆ ธๅŽๅพ—ๅˆฐ28 ร— 28็š„
็‰นๅพๅ›พ๏ผŒๅฏนๅ…ถ่ฟ›่กŒๅ‡ๅ€ผ้‡‡ๆ ท๏ผŒๅฐ†ๅ˜ไธบ14 ร— 14ๅคงๅฐ็š„็‰นๅพๅ›พ๏ผŒๅ†็”จ5 ร— 5ๅคงๅฐ็š„ๅท็งฏ
ๆ ธๅท็งฏ๏ผŒๅฐ†ๅพ—ๅˆฐ10 ร— 10 ๅคงๅฐ็š„็‰นๅพๅ›พ๏ผŒ้‡‡ๆ ทๅŽไธบ5 ร— 5ๅคงๅฐ๏ผŒๆญคๆ—ถๅ†ๆ‰ง่กŒไธ€ๆฌกๅท็งฏ
ๅŽ๏ผŒ็‰นๅพๅ›พๅคงๅฐไธบ1 ร— 1๏ผŒ่ฟ™ๆ—ถๅ€™ๅ†ไนŸๆ— ๆณ•่ฟ›่กŒ้‡‡ๆ ทไบ†๏ผŒๅ‡่ฎพ็Žฐๅœจๆœ‰100ไธช1 ร— 1ๅคง
ๅฐ็š„็‰นๅพๅ›พ๏ผŒ้‚ฃไนˆๅฎƒไพฟๅฏไปฅๅฑ•ๅผ€ๆˆไธบไธ€ไธช100็ปด็š„ๅˆ—ๅ‘้‡ใ€‚ๅˆไพ‹ๅฆ‚๏ผŒไธ€ไธชๅŽŸๅง‹ๅ›พ
็‰‡ไธบ28 ร— 28ๅคงๅฐ็š„ๅ›พๅƒ๏ผŒๅฆ‚ๆžœๅท็งฏๆ ธ้ƒฝ่ฎพๅฎšไธบ5 ร— 5๏ผŒ้‚ฃไนˆ็ป่ฟ‡ๅท็งฏใ€้‡‡ๆ ทใ€ๅท
็งฏใ€้‡‡ๆ ทๅŽ๏ผŒๅฐ†ๅพ—ๅˆฐ4 ร— 4็š„็‰นๅพๅ›พ๏ผŒๆญคๆ—ถๅท็งฏๆ ธๅฐบๅฏธๅคงไบŽ็‰นๅพๅ›พ็š„ๅฐบๅฏธ๏ผŒๅท็งฏ
ๆ— ๆณ•ๆ‰ง่กŒ๏ผŒๅบ”ๅฐ†่ฟ™ไบ›็‰นๅพๅ›พๅฑ•ๅผ€๏ผŒๅ‡่ฎพๆœ‰10ๅผ 4 ร— 4็š„็‰นๅพๅ›พ๏ผŒ้‚ฃไนˆๅฑ•ๅผ€ๅŽๅฐ†ๅพ—
ๅˆฐ10 ร— 4 ร— 4 = 160็ปด็š„ๅˆ—ๅ‘้‡ใ€‚
ๅฏนไบŽๆœ€ๅŽ็š„ๅˆ—ๅ‘้‡๏ผŒๅณๅฏไปฅ็›ดๆŽฅไฝฟ็”จๅˆ†็ฑปๅ™จ๏ผŒไนŸๅฏไปฅๅœจ่ฟ™ไบ›ๅˆ—ๅ‘้‡็š„ๅŸบ็ก€ไธŠ
ๆญๅปบๅ‡ ๅฑ‚้šๅซๅฑ‚ๅŽๅ†ไฝฟ็”จๅˆ†็ฑปๅ™จ๏ผŒ่ฟ™ไธชๅˆ†็ฑปๅ™จๅฏไปฅๆ˜ฏๅ…จ่ฟžๆŽฅ็ฅž็ป็ฝ‘็ปœๆˆ–ๆ”ฏๆ’‘ๅ‘้‡
ๆœบ็ญ‰๏ผŒ้€‰ๅ–ๅ“ชไธชๅ–ๅ†ณไบŽ่ฎพ่ฎก่€…็š„ๆ„ๆ„ฟใ€‚ๅ…ณไบŽๅˆ†็ฑปๅ™จๅฆ‚ไฝ•ไฝฟ็”จ๏ผŒ่ฏป่€…ๅฏไปฅๅ‚่€ƒๅ‰้ข
็š„็ซ ่Š‚๏ผŒๅœจๅท็งฏ็ฝ‘็ปœๆœ€้กถๅฑ‚็š„ๅˆ†็ฑปๅ™จไธญ๏ผŒไธŽไผ ็ปŸ็ฅž็ป็ฝ‘็ปœๆ˜ฏ็›ธๅŒ็š„ใ€‚
6.3 ๅท็งฏ็ฅž็ป็ฝ‘็ปœ็š„ๅ้ฆˆ
ๅท็งฏ็ฅž็ป็ฝ‘็ปœ็š„่ฎญ็ปƒๆ–นๆณ•ไธŽไผ ็ปŸ็ฅž็ป็ฝ‘็ปœ็š„่ฎญ็ปƒๆ–นๆณ•็ฑปไผผ๏ผŒ้ƒฝๆ˜ฏ้‡‡็”จๅๅ‘ไผ 
ๆ’ญ็ฎ—ๆณ•๏ผŒไฝ†็”ฑไบŽๅท็งฏ็ฝ‘็ปœ็‰นๆฎŠ็š„ๆž„ๅž‹๏ผŒ้œ€่ฆๅฏนๅ…ถ่ฟ›่กŒไธ€ไบ›ๆ”นๅŠจ๏ผŒไฝ†ไธค่€…็š„ๆ ธๅฟƒ้ƒฝ
ๆ˜ฏ็›ธๅŒ็š„๏ผŒๅณ้€š่ฟ‡ๅŽไธ€ๅฑ‚็š„่ฏฏๅทฎๆณจๅ…ฅๅ‰ไธ€ๅฑ‚ไธญ๏ผŒไน˜ไธŠ่ฏฅๅฑ‚ๆฟ€ๆดปๅ‡ฝๆ•ฐ็›ธๅฏนไบŽๅ‡€ๆฟ€ๆดป
็š„ๅๅฏผๆ•ฐๅŽๅพ—ๅˆฐ่ฏฅๅฑ‚็š„่ฏฏๅทฎ๏ผŒๅˆฉ็”จ่ฟ™ไธช่ฏฏๅทฎไน˜ไธŠๅ‡€ๆฟ€ๆดป็›ธๅฏนไบŽ่พ“ๅ…ฅ็š„ๅๅฏผๆ•ฐๅณๅฏ
ๅพ—ๅˆฐๅ‚ๆ•ฐๆ›ดๆ–ฐ็š„ๅขž้‡ใ€‚ๅ”ฏไธ€็š„ไธๅŒ็‚นๅœจไบŽๆณจๅ…ฅ็š„ๆ–นๅผไธๅŒใ€‚
6.3.1 ๅˆ†็ฑปๅ™จ่ฏฏๅทฎไผ ๆ’ญ
็”ฑไบŽๅท็งฏ็ฅž็ป็ฝ‘็ปœไธญๆœ€้กถๅฑ‚ไธŽไผ ็ปŸ็š„็ฅž็ป็ฝ‘็ปœ็›ธๅŒ๏ผŒๅ› ๆญคๅ‚ๆ•ฐๆ กๆญฃไปฅๅŠๅๅ‘
ไผ ๆ’ญๆ–นๅผๆ˜ฏ็›ธๅŒ็š„ใ€‚ๆœ‰ไธ€็‚น้œ€่ฆๆณจๆ„็š„ๆ˜ฏ๏ผŒๅฆ‚ๆžœ็ฝ‘็ปœๆœ€ๅŽไธ€ไธชๅท็งฏๅฑ‚๏ผˆๆˆ–้‡‡ๆ ทๅฑ‚๏ผ‰
ไธญๅฐ†็‰นๅพๅ›พๆ‹‰ๆˆไธ€ไธชๅˆ—ๅ‘้‡๏ผŒ้‚ฃไนˆๅๅ‘ไผ ๆ’ญ็š„ๆ—ถๅ€™้œ€่ฆๅฐ†ๅˆ—ๅ‘้‡่ฟ˜ๅŽŸๅ›ž็‰นๅพๅ›พๅฝข
ๅผ๏ผŒไพ‹ๅฆ‚๏ผŒๅฆ‚ๆžœ็ฝ‘็ปœไธญๆœ€ๅŽ้˜ถๆฎตๅพ—ๅˆฐ10ๅผ 4 ร— 4ๅคงๅฐ็š„็‰นๅพๅ›พ๏ผŒๅ‰ๅ‘ไผ ๆ’ญ่ฟ‡็จ‹ไธญไผš
ๅฐ†ๅฎƒไปฌๅˆๅนถๆˆไธบไธ€ไธช160็ปด็š„ๅˆ—ๅ‘้‡๏ผŒ้‚ฃไนˆๅœจๅๅ‘ไผ ๆ’ญ่ฟ‡็จ‹ไธญ๏ผŒ้œ€่ฆๅฐ†160็ปด็š„่ฏฏ
ๅทฎๅˆ—ๅ‘้‡่ฟ˜ๅŽŸๆˆ10ๅผ 4 ร— 4็š„็‰นๅพๅ›พๅฝขๅผ๏ผŒๆญคๆ—ถๅพ—ๅˆฐ็š„็‰นๅพๅ›พๅฏไปฅ็œ‹ๅšๆ˜ฏ่ฏฏๅทฎ็‰นๅพ
- 63 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ๅ›พใ€‚
6.3.2 ้‡‡ๆ ทๅฑ‚่ฏฏๅทฎไผ ๆ’ญ
ๅœจ้‡‡ๆ ทๅฑ‚ไธญ๏ผŒๅฆ‚ๆžœๆˆ‘ไปฌไฝฟ็”จๅนณๅ‡้‡‡ๆ ท๏ผŒ็”ฑไบŽๅนณๅ‡้‡‡ๆ ทๅนถๆฒกๆœ‰้ขๅค–็š„ๅ‚ๆ•ฐ้œ€่ฆ
ๅญฆไน ๏ผŒๅ› ๆญคๅช้œ€่ฆๅฐ†ๅŽไธ€ๅฑ‚ไผ ๆ’ญๅ›žๆฅ็š„่ฏฏๅทฎ็ปง็ปญไผ ๆ’ญๅ›žๅ‰ไธ€ๅฑ‚ๅณๅฏใ€‚็”ฑไบŽ้‡‡ๆ ทๅฑ‚
ๆ˜ฏๅฏนๅ‰ไธ€ๅฑ‚ๅฑ€้ƒจๅŒบๅŸŸ็š„ๅนณๅ‡๏ผŒๆ‰€ไปฅๅœจๅฐ†่ฏฏๅทฎไผ ๆ’ญๅ›žๅ‰ไธ€ๅฑ‚ๆ—ถ๏ผŒๅช้œ€่ฆๅฐ†ๅ…ถๅฐบๅฏธๆ”พ
ๅคงๅˆฐ็›ธๅŒ็š„ๆฏ”ไพ‹๏ผŒๅฏนๅบ”็š„ๅฑ€้ƒจๅŒบๅŸŸไธญๆฏไธ€ไธชๅ…ƒ็ด ๅ‡ๅ–้‡‡ๆ ทๅฑ‚ไธญ็š„ๅ…ƒ็ด ๅณๅฏใ€‚ไพ‹
ๅฆ‚๏ผŒไธ€ไธช็ผฉๅฐๆฏ”ไพ‹ไธบ2็š„้‡‡ๆ ทๅฑ‚๏ผŒๅ‡่ฎพๅฎƒๆŽฅๆ”ถๅˆฐๅŽไธ€ๅฑ‚ไผ ๆ’ญๅ›žๆฅ็š„่ฏฏๅทฎ็‰นๅพๅ›พๅฐบๅฏธ
ไธบ2 ร— 2๏ผŒ้‚ฃไนˆ่ฟ™ไธช่ฏฏๅทฎไผ ๆ’ญๅ›ž้‡‡ๆ ทๅฑ‚็š„ๅ‰ไธ€ๅฑ‚ๅฐ†ๅพ—ๅˆฐ4 ร— 4ๅฐบๅฏธ็š„็‰นๅพๅ›พ๏ผŒ่ฟ™ไธช่ฟ‡
็จ‹ๅฆ‚ๅผ(6-7)ๆ‰€็คบ
๏ฃฎ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฐ
1 2
3 4
๏ฃน
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃป
โ†’
๏ฃฎ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฐ
1 1 2 2
1 1 2 2
3 3 4 4
3 3 4 4
๏ฃน
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃป
(6-7)
ๅฆ‚ ๆžœ ่ฏป ่€… ๅœจ ๆญค ไน‹ ๅ‰ ไบ† ่งฃ ่ฟ‡Kronecker็งฏ ๏ผˆไนŸ ็งฐ ็›ด ็งฏ๏ผ‰๏ผŒ ไธŠ ่ฟฐ ่ฟ‡ ็จ‹ ไพฟ ๆ˜ฏ ไธ€
ไธชKronecker็งฏ่ฟ‡็จ‹๏ผŒๅณ
ฮด
conv
= ฮด
sampling
โŠ— 1
nร—n
(6-8)
ๅผไธญ้œ€่ฆๆณจๆ„็š„ๆ˜ฏ๏ผŒโŠ—ๆ˜ฏ็›ด็งฏ็ฌฆๅท่€Œไธๆ˜ฏ้€ป่พ‘็”ต่ทฏ้‡Œ็š„ๅผ‚ๆˆ–็ฌฆๅทใ€‚ฮด
conv
ไปฃ่กจไผ ๆ’ญๅ›ž
ๅ‰ไธ€ๅฑ‚๏ผˆๅณๅท็งฏๅฑ‚๏ผ‰็š„่ฏฏๅทฎ๏ผŒฮด
sampling
ไปฃ่กจๅŽไธ€ๅฑ‚็ฝ‘็ปœไผ ๆ’ญๅˆฐ้‡‡ๆ ทๅฑ‚็š„่ฏฏๅทฎ๏ผŒ1
nร—n
ๆ˜ฏ
ไธ€ไธชn ร— n็š„ๅ•ไฝๅ‘้‡๏ผŒn็š„ๅ–ๅ€ผ็ญ‰ไบŽ้‡‡ๆ ทๅฑ‚็š„็ผฉๅฐๆฏ”ไพ‹๏ผŒไพ‹ๅฆ‚๏ผŒๅฆ‚ๆžœ้‡‡ๆ ทๅฑ‚็š„็ผฉๅฐ
ๆฏ”ไพ‹ๆ˜ฏ2๏ผŒๅˆ™n = 2ใ€‚
6.3.3 ๅท็งฏๅฑ‚่ฏฏๅทฎไผ ๆ’ญ
ไธŽไผ ็ปŸ็š„ๅ…จ่ฟžๆŽฅ็ฅž็ป็ฝ‘็ปœ็ฑปไผผ๏ผŒๅท็งฏๅฑ‚ๆŽฅๆ”ถๅˆฐๅŽไธ€ๅฑ‚ไผ ๆ’ญๅ›žๆฅ็š„่ฏฏๅทฎๅŽ๏ผŒ้œ€
่ฆไน˜ไปฅๅฝ“ๅ‰ๅฑ‚ๆฟ€ๆดปๅ‡ฝๆ•ฐ็›ธๅฏนไบŽๅ‡€ๆฟ€ๆดป็š„ๅๅฏผๆ•ฐ๏ผŒๅพ—ๅˆฐๅฝ“ๅ‰ๅฑ‚็š„่ฏฏๅทฎ๏ผŒๅณ
ฮด
โ„“
i
= ฮด
โ„“+1
i
ยท
โˆ‚ f (net
i
)
โˆ‚net
i
(6-9)
็”ฑไบŽๅท็งฏ็ฝ‘็ปœไธญๆœ‰ๅคšๅผ ็‰นๅพๅ›พ๏ผŒๆ‰€ไปฅฮด
โ„“
i
ไปฃ่กจๅฝ“ๅ‰ๅฑ‚๏ผˆโ„“ๅฑ‚๏ผ‰็š„็ฌฌiๅผ ่ฏฏๅทฎ็‰นๅพๅ›พ๏ผŒ
ฮด
โ„“+1
i
ไปฃ่กจ็ฌฌโ„“ + 1 ๅฑ‚ไผ ๆ’ญๅ›žๆฅ็š„็ฌฌiๅผ ่ฏฏๅทฎ็‰นๅพๅ›พ๏ผŒnet
i
ไปฃ่กจ็ฌฌiๅผ ็‰นๅพๅ›พ็š„ๅ‡€ๆฟ€ๆดปใ€‚
่ฎก็ฎ—ๅพ—ๅˆฐๅฝ“ๅ‰ๅฑ‚็š„่ฏฏๅทฎๅŽ๏ผŒ้€š่ฟ‡ๅท็งฏ็š„่‡ช็›ธๅ…ณๆ€ง๏ผŒๅˆฉ็”จ่ฟ™ไธช่ฏฏๅทฎๅฏไปฅ่ฎก็ฎ—ๅท
็งฏๆ ธไปฅๅŠๅ็ฝฎ็š„่ฟญไปฃๅขž้‡๏ผŒๅณ
[39]
- 64 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
โˆ‚J
โˆ‚k
โ„“
i, j
= rot180
๎€’
conv
๎€
x
โ„“โˆ’1
i
, rot180(ฮด
โ„“
j
),
โ€ฒ
valid
โ€ฒ
๎€‘
๎€“
(6-10)
ๅผไธญ๏ผŒrot180(ยท)ๆ‰ง่กŒๅฐ†ไธ€ไธช็Ÿฉ้˜ตๆ—‹่ฝฌ180
โ—ฆ
ๆ“ไฝœ๏ผŒๅ…ถ็›ฎ็š„ๅœจไบŽๅˆฉ็”จๅท็งฏ็š„่‡ช็›ธๅ…ณๆ€ง
่ดจ๏ผŒconvไธบๅท็งฏๆ“ไฝœ๏ผŒโ€˜validโ€™ไปฃ่กจๅท็งฏๆ“ไฝœ่Œƒๅ›ด้™ๅˆถๅœจๅฏ็”จๅŒบๅŸŸๅ†…ใ€‚ๅฏนไบŽๅ็ฝฎ๏ผŒ
ๅ…ถๆขฏๅบฆไธบ
[39]
โˆ‚J
โˆ‚b
j
=
๎˜
u,v
(ฮด
โ„“
j
)
uv
(6-11)
่Žทๅ–ๅ‚ๆ•ฐ็š„ๆขฏๅบฆๅŽ๏ผŒๅฏนๅท็งฏๅฑ‚็š„ๅ‚ๆ•ฐ่ฟ›่กŒๆ›ดๆ–ฐ๏ผŒ้šๅŽๅฐ†ๅท็งฏๅฑ‚็š„่ฏฏๅทฎๅๅ‘ไผ ๆ’ญๅˆฐ
้‡‡ๆ ทๅฑ‚๏ผŒๅ…ถๅ…ฌๅผไธบ
[39]
ฮด
โ„“โˆ’1
j
= f
โ€ฒ
(u
โ„“
j
) ๎€€ conv
๎€’
ฮด
โ„“
j
, rot180
๎€
๎˜
iโˆˆM
โ„“
j
k
โ„“
i j
๎€‘
,
โ€ฒ
f ull
โ€ฒ
๎€“
(6-12)
ๅผไธญ๏ผŒ๎€€ไธบ้ขๅ‘ๅ…ƒ็ด ็š„ไน˜ๆณ•๏ผŒโ€˜fullโ€™ไปฃ่กจๅท็งฏ็š„ๆ“ไฝœ่Œƒๅ›ดๆ˜ฏๅ…จๅ›พๅท็งฏใ€‚้€š่ฟ‡ไปฅไธŠ็ญ–
็•ฅ๏ผŒๅฏน็ฝ‘็ปœ่ฟ›่กŒ็ฑปไผผ็š„ๅๅ‘ไผ ๆ’ญ๏ผŒๅณๅฏๅฏนๆ•ดไธช็ฝ‘็ปœ่ฟ›่กŒๅ้ฆˆๆ กๆญฃใ€‚
6.4 ๆœฌ็ซ ๅฐ็ป“
ๆœฌ็ซ ไธญๆˆ‘ไปฌไป‹็ปไบ†ๅท็งฏ็ฅž็ป็ฝ‘็ปœไธญๅท็งฏๅฑ‚ไปฅๅŠ้‡‡ๆ ทๅฑ‚็š„ๅŽŸ็†๏ผŒๅนถไป‹็ปไบ†ไธ€
็งๅท็งฏ็ฅž็ป็ฝ‘็ปœ็š„็ป“ๆž„ใ€‚ๅท็งฏ็ฝ‘็ปœ็š„็ป“ๆž„ๅ˜ไฝ“ๆœ‰ๅพˆๅคš๏ผŒ1989ๅนดLeCun่ฎพ่ฎก็š„็ฌฌไธ€
ไธชๅท็งฏ็ฅž็ป็ฝ‘็ปœไปๅธฆๆœ‰่ฝปๅพฎ็š„ๅ…จ่ฟžๆŽฅ็ฝ‘็ปœๆฐ”ๆฏ
[18]
๏ผŒ่€Œ1998ๅนดLeCunไธŽBengio็ญ‰ไบบ
่ฎพ่ฎก็š„ๅท็งฏ็ฅž็ป็ฝ‘็ปœๅœจๅท็งฏๆ—ถๅนถไธๆ˜ฏๅ…จ็‰นๅพๅ›พๅท็งฏ๏ผŒ่€Œๆ˜ฏ้€‰ๅ–ไธ€้ƒจๅˆ†็š„็‰นๅพๅ›พ
่ฟ›่กŒๅท็งฏ
[19]
ใ€‚Lee HonglakไธŽAndrew Ng็ญ‰ไบบๅฐ†ๅ—้™็Žปๅฐ”ๅ…นๆ›ผๆœบไธŽๅท็งฏ็ฅž็ป็ฝ‘็ปœ็›ธ
็ป“ๅˆ๏ผŒๅฝขๆˆไธ€็งๅไธบConvolutional deep belief networks็š„็ฅž็ป็ฝ‘็ปœ
[40]
ใ€‚ๆ–‡็Œฎ[41]ไธญ
ไป‹็ปไบ†ไธ€็งไฝฟ็”จไธ‰็ปดๅท็งฏๆ ธ็š„ๅท็งฏ็ฝ‘็ปœ๏ผŒๅ› ๆญค่ฟ™็ง็ฝ‘็ปœๅฏไปฅ็œ‹ๅšๆ˜ฏๅ››็ปด็ฝ‘็ปœ๏ผŒ
Krizhevsky็ญ‰ไบบๅˆฉ็”จๅฎƒๅœจ2012ๅนด็š„ImageNet LSVRC-2010ๆ•ฐๆฎ้›†ไธŠ่Žทๅพ—ไบ†ไธ–็•Œ็ฌฌไธ€
็š„ๆญฃ็กฎ็Ž‡๏ผŒ่ฟ™็งๅท็งฏ็ฝ‘็ปœๆˆไธบๅฝ“ๅ‰็š„ไธปๆต็ป“ๆž„ใ€‚ๅฐฝ็ฎกๅท็งฏ็ฝ‘็ปœ็š„ๅ˜ไฝ“ไผ—ๅคš๏ผŒไฝ†ๅ…ถ
ๅคงไฝ“ๆ€่ทฏๆ˜ฏ็ฑปไผผ็š„๏ผŒ้ƒฝๆ˜ฏๅŸบไบŽๅท็งฏๆ ธๅฏนๅฑ€้ƒจ็‰นๅพ่ฟ›่กŒๆๅ–ใ€‚
- 65 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
็ฌฌ 7 ็ซ  ็ฅž็ป็ฝ‘็ปœ็š„่ฎพ่ฎกๆŠ€ๅทง
็ฅž็ป็ฝ‘็ปœ็š„่ฎพ่ฎกๆŠ€ๅทงไผ—ๅคš๏ผŒ่ฟ™ไบ›ๆŠ€ๅทงๅคง่‡ดๅฏๅˆ†ไธบไธคๅคง็ฑป๏ผŒไธ€็ฑปๆ˜ฏ่ฎญ็ปƒๅ‰ๅฏนๆ•ฐ
ๆฎ็š„้ข„ๅค„็†๏ผŒๅฆไธ€็ฑปๆ˜ฏ่ฎญ็ปƒ่ฟ‡็จ‹ไธญ้‡‡็”จ็š„ไธ€ไบ›็‰นๆฎŠ็š„่ฎญ็ปƒๆ‰‹ๆฎตใ€‚ๆ•ฐๆฎ้ข„ๅค„็†็š„ไฝœ
็”จๅœจไบŽๅฐ†ๅŽŸๅง‹ๆ•ฐๆฎๅค„็†ๆˆๅฎนๆ˜“่ฎญ็ปƒ็š„ๆ•ฐๆฎ๏ผŒๅŠ ๅฟซๅ‡†ๅˆ™ๅ‡ฝๆ•ฐ็š„ๆ”ถๆ•›้€Ÿๅบฆ๏ผŒๅฆไธ€ๆ–น้ข๏ผŒ
ๅŽŸๅง‹ๆ•ฐๆฎ็š„้™็ปดๅฏไปฅๅœจ็‰บ็‰ฒ่พƒๅฐ็ฒพๅบฆ็š„ๅ‰ๆไธ‹ๅ‡ๅฐ‘่ฟ็ฎ—้‡๏ผŒๆ้ซ˜็จ‹ๅบ็š„ๆ‰ง่กŒๆ•ˆ็Ž‡ใ€‚
่ฎญ็ปƒ่ฟ‡็จ‹ไธญ้‡‡็”จ็š„ไธ€ไบ›็‰นๆฎŠๆ‰‹ๆฎตๅœจๆ•ฐๅญฆไธŠๆ˜ฏๆฒกๆœ‰ๅคชๅคงๆ„ไน‰๏ผŒ็”š่‡ณๆœ‰ๆ—ถๅ€™ๆ˜ฏ่ฟๅ็›ด
่ง‰็š„๏ผŒ่ฟ™ไบ›ๆŠ€ๅทงๆ˜ฏๅคšๅนดๆฅ็ง‘็ ”ไบบๅ‘˜็งฏ็ดฏๅ‡บๆฅ็š„็ป้ชŒ๏ผŒๅ…ถ็ตๆ„Ÿๆฅๆบไธ€่ˆฌ้ ่’™ใ€‚ๅฐฝ็ฎก
่ฟ™ไบ›็ป้ชŒๆœ‰ๆ—ถๅ€™ๅ่€Œไผš้™ไฝŽ็ฝ‘็ปœ็š„ๆ€ง่ƒฝ๏ผŒไฝ†ๅคง้ƒจๅˆ†ๆƒ…ๅ†ตไธ‹็กฎๅฎžไผšๆ้ซ˜ๆ€ง่ƒฝ็š„๏ผŒๆŸ
ไบ›ๆƒ…ๅ†ตไธ‹๏ผŒไธ้€‚็”จ่ฟ™ไบ›ๆŠ€ๅทง๏ผŒ็ฝ‘็ปœ็š„่ฎญ็ปƒๅˆๅง‹้˜ถๆฎตๅ‡†ๅˆ™ๅ‡ฝๆ•ฐๆ— ๆณ•ๆ”ถๆ•›ใ€‚ๅ…ทไฝ“่ฎพ่ฎก
่ฟ‡็จ‹ไธญ๏ผŒๅฏนไบŽ่ฟ™ไบ›ๆŠ€ๅทง๏ผŒๆˆ‘ไปฌๅบ”่ฏฅๆŠฑ็€่ฏ•ไธ€่ฏ•็š„ๅฟƒๆ€๏ผŒๅฆ‚ๆžœๅœจ็ฝ‘็ปœไธญไฝฟ็”จๆŸไธชๆŠ€
ๅทง๏ผŒไฝฟๅพ—็ฝ‘็ปœๆ€ง่ƒฝๅ˜ๅฅฝไบ†๏ผŒ้‚ฃไนˆๆˆ‘ไปฌไพฟไฟ็•™่ฟ™ไธชๆŠ€ๅทง๏ผŒๅฆๅˆ™ๅฆ‚ๆžœ็ฝ‘็ปœๆ€ง่ƒฝๅ˜ๅทฎไบ†๏ผŒ
้‚ฃไนˆๅฐฑ่ˆๅผƒ่ฟ™ไธชๆŠ€ๅทง
1
ใ€‚
7.1 ๆ•ฐๆฎ้ข„ๅค„็†
ๆ•ฐๆฎ็š„้ข„ๅค„็†ๅคง่‡ดๅฏๅˆ†ไธบๅ‡ ็ฑป๏ผš็™ฝๅŒ–ใ€้™็ปดใ€ๆ‰ฉๅฎนใ€ๅฝ’ไธ€ๅŒ–ใ€‚็™ฝๅŒ–็š„ไฝœ็”จๅœจ
ไบŽๅŽป้™คๆ•ฐๆฎ่€ฆๅˆ็š„็›ธๅ…ณๆ€ง๏ผŒ้™็ปด็š„ไฝœ็”จๅœจไบŽๅŽ‹็ผฉๆ•ฐๆฎ๏ผŒๅŠ ๅฟซ็ฎ—ๆณ•ๆ‰ง่กŒๆ•ˆ็Ž‡๏ผŒ็”ฑไบŽ
ไธปๆˆๅˆ†ๅˆ†ๆžๆ˜ฏไธ€็งๅŽป้™ค็›ธๅ…ณๆ€ง็š„้™็ปดๆ–นๆณ•๏ผŒๅ› ๆญคๆˆ‘ไปฌๅฐ†็™ฝๅŒ–ๅˆๅนถๅˆฐไธปๆˆๅˆ†ๅˆ†ๆž
็š„็ซ ่Š‚ไธญ่€Œไธๅฆ่ตท็ซ ่Š‚ใ€‚ๆ‰ฉๅฎน็›ฎ็š„ๅœจไบŽๅˆฉ็”จไธ€ไบ›ๆ‰‹ๆฎต๏ผŒไบบๅทฅๅœฐไผช้€ ไธ€ไบ›่ฎญ็ปƒๆ•ฐ
ๆฎ๏ผŒๅฐ†่ฎญ็ปƒๆ ทๆœฌ็š„ๅฎน้‡ๆ‰ฉๅคง๏ผŒไฝฟๅพ—็ฝ‘็ปœ็š„ๆณ›ๅŒ–่ƒฝๅŠ›ๅ˜ๅผบใ€‚ๅฝ’ไธ€ๅŒ–็š„็›ฎ็š„ๅœจไบŽ่ฎฉ
ๆ•ฐๆฎไฟๆŒๅœจ[0, 1]ๅŒบ้—ดๅ†…๏ผŒไน‹ๆ‰€ไปฅ่ฆๅœจ่ฟ™ไธชๅŒบ้—ดๅ†…๏ผŒไธ€ๆ–น้ข๏ผŒๅœจไธ€ไบ›ๆฟ€ๆดปๅ‡ฝๆ•ฐ๏ผŒๆฏ”
ๅฆ‚Sigmoidๅ‡ฝๆ•ฐไธญ๏ผŒๅฆ‚ๆžœๆ•ฐๆฎๅฐบๅบฆ่ฟ‡ๅคง๏ผŒๅˆ™ไฝฟๅพ—ๆฟ€ๆดปๅ‡ฝๆ•ฐ่ฟ…้€Ÿ้ฅฑๅ’Œ๏ผŒไปŽ่€ŒๆขฏๅบฆๆŽฅ่ฟ‘
ไบŽ0๏ผŒๆƒๅ€ผๆ›ดๆ–ฐ็ผ“ๆ…ขใ€‚่€Œๆ•ฐๆฎๅฝ’ไธ€ๅŒ–ๅˆฐ่พƒๅฐ็š„ๆ•ฐๅ€ผไธŠๆ—ถ๏ผŒๆˆ‘ไปฌ็Ÿฅ้“๏ผŒSigmoidๅ‡ฝๆ•ฐ
ๅœจๅŽŸ็‚น้™„่ฟ‘ๆ˜ฏไธ€ไธช่ฟ‘ไผผไบŽ็บฟๆ€ง็š„ๅ‡ฝๆ•ฐ๏ผŒๅœจ่ฎญ็ปƒ็š„ๅˆๅง‹้˜ถๆฎตไพฟๅฏ่ฎฉๆƒๅ€ผ่Žทๅพ—่พƒๅคง็š„
ๆขฏๅบฆใ€‚ๅฆไธ€ๆ–น้ข๏ผŒๅฆ‚ๆžœๆ•ฐๆฎๅฐบๅบฆ่ฟ‡ๅคง๏ผŒๆœ‰ๅฏ่ƒฝไผšๅฏผ่‡ด่ฎก็ฎ—ๆœบ็š„ๆ•ฐๅ€ผๆบขๅ‡บ๏ผŒๅฐคๅ…ถๆ˜ฏ
ๆฟ€ๆดปๅ‡ฝๆ•ฐไธบSigmoid็š„ๆ—ถๅ€™๏ผŒๅ› ไธบ่ฟ™ไธชๆฟ€ๆดปๅ‡ฝๆ•ฐๅธฆๆœ‰ไธ€ไธชๆŒ‡ๆ•ฐ้กน๏ผŒๅฏนไบŽๆŸไบ›ไธ่‡ช
ๅธฆๆบขๅ‡บๆฃ€ๆต‹็š„็ผ–็จ‹่ฏญ่จ€ๅฆ‚C++่€Œ่จ€๏ผŒ่ฟ™ๆ˜ฏไธ€ๅœบ็พ้šพ๏ผŒๅ› ไธบๅฎƒไผšๅฏผ่‡ดไฝ ็š„ไปฃ็ ่Žซๅ
ๅ…ถๅฆ™ๅœฐๅคฑ่ดฅใ€‚ๅณไฝฟๆ˜ฏไธ€ไบ›ๅธฆๆบขๅ‡บๆฃ€ๆต‹็š„่ฏญ่จ€๏ผŒๅฆ‚Python๏ผŒๅฝ“ๆ•ฐๅ€ผๆบขๅ‡บๆ—ถ๏ผŒๅพ€ๅพ€ไฝฟ
็”จInfๆˆ–NaNไปฃๆ›ฟ๏ผŒๆญคๆ—ถ่ฟ›่กŒ็š„ไธๅ†ๆ˜ฏๆ•ฐๅ€ผ่ฟ็ฎ—๏ผŒ่€Œๆ˜ฏ็ฌฆๅท่ฟ็ฎ—๏ผŒ่ฟ™ๅฐ†ๆžๅคงๅœฐ้™ไฝŽ
่ฟ็ฎ—้€Ÿๅบฆใ€‚
1
ไฝ†ๅ‰ๆๆ˜ฏ่ฟ™ไธชๆŠ€ๅทง่ขซๆญฃ็กฎไฝฟ็”จ๏ผŒๅณ็ผ–็ ๆญฃ็กฎ
- 66 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
7.1.1 ้™็ปด
ไบบๆ˜ฏไธ€็งๅ—้™ไบŽไธ‰็ปด็ฉบ้—ด็š„ๅŠจ็‰ฉ๏ผŒๆˆ‘ไปฌๅช่ƒฝ็†่งฃไธ‰็ปด็š„่€Œๆ— ๆณ•ๆƒณ่ฑกๆ›ด้ซ˜็ปดๅบฆ
็š„ไบ‹็‰ฉใ€‚ไบ‹ๅฎžไธŠ๏ผŒไบบๅŒๆ ทๆ— ๆณ•็†่งฃไบŒ็ปด็š„ๆˆ–ไธ€็ปด็š„ไธ–็•Œ๏ผŒๅฐฝ็ฎกๆˆ‘ไปฌๅฏไปฅๅœจ่„‘ๆตทไธญ
ๆƒณ่ฑกไบŒ็ปดๆ›ฒ้ขๆˆ–ไธ€็ปดๆ›ฒ็บฟ๏ผŒไฝ†ไบบ่„‘ๆตท้‡Œ็š„่ฟ™ไบ›ไบ‹็‰ฉ่ฟ™ไบ›้ƒฝไธๆ˜ฏไบŒ็ปด๏ผŒไป–ไปฌๅชๆ˜ฏๅตŒ
ๅœจไธ‰็ปด็ฉบ้—ดไธญ็š„ไบŒ็ปด๏ผˆๆˆ–ไธ€็ปด๏ผ‰ๆตๅฝข
2
ใ€‚ไธ€ๅผ ไธ€็™พไธ‡ๅƒ็ด ็š„ๅ›พ็‰‡๏ผŒๅฎƒๆ€ป่ƒฝๅฏนๅบ”็€ไธ€
็™พไธ‡็ปด็ฉบ้—ดไธญ็š„ๆŸไธ€็‚น๏ผŒ่€Œๅพˆๅคšๅผ ๆŸไธช็ฑปๆฏ”็š„ๅ›พ็‰‡๏ผŒๆฏ”ๅฆ‚็‹—็š„ๅ›พ็‰‡๏ผŒๅฐ†ไผšๅฏนๅบ”็€
ไธ€็™พไธ‡็ปด็ฉบ้—ดไธญ็š„ๅคšไธช็‚นใ€‚็„ถ่€Œๅนถไธๆ˜ฏไธ€็™พไธ‡็ปด็ฉบ้—ดไธญ็š„ไปปไฝ•ไธ€็‚น้ƒฝๆ˜ฏ็‹—็š„ๅ›พ็‰‡๏ผŒ
ๅฎƒไนŸๆœ‰ๅฏ่ƒฝๆ˜ฏ็Œซ็š„ๅ›พ็‰‡๏ผŒไฝ†ๆ˜ฏๅŒๆ ทๆ˜ฏ็‹—็š„ๅ›พ็‰‡๏ผŒๅฎƒไผšๅœจๆ€ปไผšๆœ‰ๆŸไบ›ๅ…ฑ้€šๆ€ง๏ผŒ่ฟ™ไบ›
ๅ…ฑ้€šๆ€ง๏ผŒๆˆ–่€…่ฏด็‰นๅพ๏ผŒไฝฟๅพ—็‹—่ฟ™ไธ€็ฑปๅ›พ็‰‡ๅœจไธ€็™พไธ‡็ปด็š„็ฉบ้—ดไธญๆž„ๆˆไธ€ไธชๆตๅฝข๏ผŒๅฆ‚
ๆžœๆˆ‘ไปฌ่ƒฝๆ‰พๅˆฐ่ฟ™ไธชๆตๅฝข๏ผŒ้‚ฃไนˆๆˆ‘ไปฌๅฐฑๅฏไปฅ้ฟๅผ€ไธ€็™พไธ‡็ปด็ฉบ้—ด๏ผŒ็›ดๆŽฅๅœจไฝŽ็ปดๆตๅฝขไธญ
่ฟ›่กŒๅˆ†็ฑปใ€‚
็”ฑไบŽๆˆ‘ไปฌๆ— ๆณ•็†่งฃ้ซ˜็ปด็ฉบ้—ด๏ผŒๅ› ๆญคๆˆ‘ไปฌ้€š่ฟ‡ไธ€ไธชไธ‰็ปด็ฉบ้—ดไธญ็š„ไบŒ็ปดๆตๅฝข็ฎ€ๅ•
ๅ™่ฟฐ่ฟ™ไปถไบ‹๏ผŒๅฆ‚ๆžœๆˆ‘ไปฌ้€š่ฟ‡ๅผ(7-2)ๆฑ‚ๅ–ไธ‰็ปด็ฉบ้—ดไธญไปปไฝ•ไธ€็‚น็š„(x, y, z)ๅๆ ‡
ฮฑ = 1.5ฯ€ โˆ— (1 + 2 โˆ— random) (7-1)
x = ฮฑ โˆ— cos ฮฑ y = 21 โˆ— random z = ฮฑ โˆ— sin ฮฑ (7-2)
ๅผไธญ๏ผŒrandomๆ˜ฏ[0, 1]ๅŒบ้—ดๅ†…ๅ‡ๅŒ€ๅˆ†ๅธƒ็š„้šๆœบๆ•ฐ๏ผŒ้‚ฃไนˆๆˆ‘ไปฌๅฐฑๅฏไปฅๅพ—ๅˆฐไธ€ไธช็งฐไธบ
โ€œswiss rollโ€็š„ๆ•ฃ็‚นๅ›พ๏ผŒๅฆ‚ๅ›พ7-1ๆ‰€็คบ ๅฆ‚ๆžœ่ฟ™ไบ›็‚นๅˆ†ๅˆซไปฃ่กจไธ€ไธชไธ‰็ปด็š„ๆ•ฐๆฎๆ ทๆœฌ๏ผŒ
้‚ฃไนˆๆˆ‘ไปฌๅฏไปฅๅ‘็Žฐ๏ผŒ่ฟ™ไบ›ๆ ทๆœฌๅ่ฝไบŽไธ€ไธชไบŒ็ปดๆตๅฝขไธญ๏ผŒๅณๅ›พ7-1ไธญๅท็ญ’่›‹็ณ•็š„ๅฝข
็Šถใ€‚่ฟ™้‡Œๆˆ‘ไปฌ็”จไบ†้”™่ฏฏ็š„ๆŽช่พž๏ผŒๅ› ไธบๆตๅฝขๅฎž้™…ไธŠๆ˜ฏไธ€ไธช็ฉบ้—ด่€Œไธๆ˜ฏไธ€ไธชๅฝข็Šถ๏ผŒ
ไฝ†ไธบไบ†้€šไฟ—ๅœฐ่งฃ้‡Š่ฟ™ไปถไบ‹๏ผŒๆˆ‘ไปฌ่ฎคไธบ้‡‡็”จ่ฟ™็งๆŽช่พžๆ˜ฏๅฏๅ–็š„ใ€‚่ง‚ๅฏŸๅผ(7-2)๏ผŒๆˆ‘
ไปฌๅฏไปฅๅ‘็Žฐ๏ผŒไบ‹ๅฎžไธŠไธ‰็ปด็ฉบ้—ดไธญ็š„็‚น(x, y, z)ๅฏไปฅๅช็”จไบŒ็ปด็ฉบ้—ด็š„(ฮฑ, y)ๆ่ฟฐ๏ผŒๅ› 
ไธบxๅ’Œz้ƒฝๆ˜ฏฮฑ็š„ๅ‡ฝๆ•ฐ๏ผŒไปŽๅ›พๅƒไธŠๆˆ‘ไปฌไนŸๅฏไปฅ็›ด่ง‚็š„ๆ„Ÿๅ—ๅˆฐ๏ผŒไธ‰็ปดๆ•ฐๆฎๆ˜ฏๅคšไฝ™็š„๏ผŒๅ› 
ไธบๆ•ฐๆฎ็š„ๅ่ฝไฝ็ฝฎๅๅˆ†ๆœ‰่ง„ๅพ‹ใ€‚
้™็ปด๏ผŒไนŸๆ˜ฏๅŒๆ ท็š„ๆ€ๆƒณ๏ผŒ้ซ˜็ปด็š„ๆ•ฐๆฎๆ˜ฏๅธฆๆœ‰ๅ†—ไฝ™็š„๏ผŒๅฆ‚ๆžœๆˆ‘ไปฌ่ƒฝๆ‰พๅˆฐ่ฟ™ไบ›ๆ•ฐ
ๆฎ็š„ไฝŽ็ปดๆตๅฝข๏ผŒ้‚ฃไนˆๅฐฑๅฏไปฅๅœจไฝŽ็ปด็ฉบ้—ดไธญ่ฟ›่กŒๆ•ฐๆฎๅค„็†ใ€‚่ฟ™่ก็”Ÿๅ‡บไบ†ๆœบๅ™จๅญฆไน ็š„
ไธ€ไธชๆตๆดพโ€”ๆตๅฝขๅญฆไน ใ€‚ๅ…ณไบŽๆตๅฝขๅญฆไน ๆˆ‘ไปฌไธไผšๅš่ฟ‡ๅคš็š„ไป‹็ป๏ผŒๆˆ‘ไปฌๅชๅœจๆœฌ็ซ ไธญไป‹
็ปไธค็ง้™็ปดๆ–นๆณ•๏ผŒๅณไธปๆˆๅˆ†ๅˆ†ๆžๅ’Œๅคš็ปดๅฐบๅบฆๅˆ†ๆžใ€‚ไธŽ็ปŸ่ฎกๅญฆไน ็ฑปไผผ๏ผŒๅฎž้™…ไธญๆˆ‘ไปฌ
ไนŸๆ— ๆณ•ๆ‰พๅˆฐๆ•ฐๆฎ็œŸๅฎž็š„ไฝŽ็ปดๆตๅฝข๏ผŒไธๅŒ็š„้™็ปดๆ–นๆณ•็›ธๅฝ“ไบŽๅฏนไฝŽ็ปดๆตๅฝข็š„ไธๅŒ้€ผ่ฟ‘
ๆ–นๆณ•ใ€‚ๅฆ‚ๆžœ่ฏดๆ•ฐๆฎ่ƒŒๅŽ็กฎๅฎžๅญ˜ๅœจไธ€ไธชไฝŽ็ปดๆตๅฝข๏ผŒ่€Œๆˆ‘ไปฌ็š„้™็ปดๆ–นๆณ•ๅˆๆฐๅฅฝๆ˜ฏ่ฟ™ไธช
2
ๆ›ดๅคšๆœ‰ๆ„ๆ€็š„่ง‚็‚นๅฏไปฅ่ง‚็œ‹้บป็œ็†ๅทฅๅญฆ้™ข็š„ใ€Š้‡ๅญๅŠ›ๅญฆใ€‹ๅ…ฌๅผ€่ฏพ
- 67 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ๅ›พ 7-1 Swiss Roll
ๆตๅฝข็š„ๆ่ฟฐ๏ผŒ้‚ฃไนˆ้™็ปดไธไผšๅผ•ๅ…ฅไฟกๆฏ็š„ๆŸๅคฑ๏ผŒไพ‹ๅฆ‚๏ผŒไธ‰็ปดๅๆ ‡้™ๅˆฐ็ƒๅๆ ‡ๅนถไธไผš
ๅผ•ๅ…ฅ่ฏฏๅทฎ๏ผŒไฝ†ๅฎž้™…ไธญๆˆ‘ไปฌๆˆ‘ไปฌๅนถไธ็Ÿฅ้“ๅ…ทไฝ“ๆตๅฝข๏ผŒๆˆ‘ไปฌ็š„้™็ปดๆ–นๆณ•ไนŸไธๆ˜ฏ็œŸๅฎž็š„
็ปดๅบฆๅ˜ๆขๆ–นๆณ•๏ผŒๆ‰€ไปฅๅฎž้™…ไธญ็š„้™็ปดไธ€ๅฎšไผšๅผ•ๅ…ฅไฟกๆฏ็š„ๆŸๅคฑ๏ผŒๅฏผ่‡ดๅˆ†็ฑปๆ€ง่ƒฝ็š„ไธ‹้™๏ผŒ
็›ธๆฏ”ไบŽ้™็ปดๅธฆๆฅ็š„ๅทจๅคงๅฅฝๅค„โ€”-่ฟ็ฎ—ๆ•ˆ็Ž‡็š„ๆ้ซ˜๏ผŒ่ฟ™ไธชๆ€ง่ƒฝ็š„ไธ‹้™ๆ˜ฏๅฏๆŽฅๅ—็š„ใ€‚ๅ›พ
ๅƒ่ฏ†ๅˆซ๏ผŒ็”ฑไบŽ็”Ÿๆดปๅ›พๅƒๅ…ถ็ปดๅบฆ้ƒฝไปฅๅƒไธ‡่ฎฐ๏ผŒ้™็ปดๆ˜ฏๅฟ…้กป็š„๏ผŒๅฆๅˆ™ไปฅ็›ฎๅ‰็š„่ฎก็ฎ—ๆœบ
ๆ€ง่ƒฝๆ— ๆณ•ๅฎŒๆˆๅ‡†ๅˆ™ๅ‡ฝๆ•ฐ็š„ๆ”ถๆ•›ใ€‚
7.1.1.1 ไธปๆˆๅˆ†ๅˆ†ๆž
ไธบไบ†็ฎ€ๅ•่ตท่ง๏ผŒๆˆ‘ไปฌๅชๅœจ่ฟ™้‡Œ่ฎจ่ฎบๅฆ‚ไฝ•ไฝฟ็”จไธปๆˆๅˆ†ๅˆ†ๆžๅฐ†ไบŒ็ปด็ฉบ้—ดไธญ็š„ๆ•ฐๆฎ
้™ๅˆฐไธ€็ปด็ฉบ้—ด๏ผŒไฝ†ไบŒ็ปด็ฉบ้—ดไธญ็š„็ป“่ฎบๅพˆๅฎนๆ˜“่ขซๆŽจๅนฟๅˆฐๆ›ด้ซ˜็ปดๅบฆ็š„ๆƒ…ๅ†ต๏ผŒๅ› ไธบๆ›ด้ซ˜
็ปดๅบฆ็ฉบ้—ดไธญ็š„็ป“่ฎบไธŽไบŒ็ปด็ฉบ้—ดไธญ็š„็ป“่ฎบๆ˜ฏ็›ธๅŒ็š„ใ€‚
ๅ‡่ฎพๆˆ‘ไปฌๆœ‰ไธ€ไธชๅซๆœ‰nไธช2็ปดๆ ทๆœฌ็š„ๆ•ฐๆฎ้›†X = [x
(1)
, x
(2)
, ยทยทยท , x
(n)
]
T
๏ผŒๅฆ‚ๅ›พ7-2ๆ‰€
็คบๆ˜ฏไธ€ไธชๅซๆœ‰100ไธชๆ ทๆœฌ็š„ๆ•ฐๆฎ้›†ๅœจๅนณ้ข็›ด่ง’ๅๆ ‡็ณปไธŠ็š„ๅˆ†ๅธƒใ€‚
ๅฆ‚ๆžœๆˆ‘ไปฌ้€š่ฟ‡่ฎก็ฎ—ๅพ—ๅˆฐ่ฟ™ไบ›ๆ ทๆœฌ็‚น็š„ๅ‡ๅ€ผ ยฏx๏ผŒๅณ
ยฏx =
1
n
n
๎˜
i=1
x
(i)
(7-3)
ๆญฃๅฆ‚ๅ›พ7-2ไธญ็š„็บข็‚น๏ผŒ้‚ฃไนˆๆˆ‘ไปฌๆ€ป่ƒฝๅฐ†ๆ‰€ๆœ‰็š„็‚น็”จไธ€็ป„ๅŸบ็š„็บฟๆ€ง็ป„ๅˆๆฅไปฃๆ›ฟ๏ผŒๅณ
x
(i)
= ยฏx + ฮฑ
1
e
1
+ ฮฑ
2
e
2
(7-4)
- 68 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ๅ›พ 7-2 ไบŒ็ปด็ฉบ้—ดไธญ็š„ๆ•ฐๆฎๆ ทๆœฌ็‚น
ๅผไธญ๏ผŒe
1
ๅ’Œe
2
ๆ˜ฏไปปๆ„ไธค ไธชไธ ๅนณ ่กŒ็š„ ๅ•ไฝ ๅ‘้‡๏ผŒๆญฃ ๅฆ‚ๅ›พ7-2ไธญ ็š„็ดซ ่‰ฒ ๆ–นๅ‘ ๅ’Œ็ปฟ ่‰ฒ
ๆ–นๅ‘ใ€‚ไฝ†ๆญคๆ—ถๆˆ‘ไปฌๅชๆ˜ฏๅฐ†ๆ ทๆœฌ็‚นไปŽไธ€ไธชๅŽŸๅง‹็š„ๆญฃไบคไบŒ็ปดๅๆ ‡็ณป่ฝฌๆขๅˆฐๅฆไธ€ไธช
ไปฅe
1
ๅ’Œe
2
ไธบๅŸบ็š„ไบŒ็ปดๅๆ ‡็ณป๏ผŒไธบไบ†้™็ปด๏ผŒๆˆ‘ไปฌๅฟ…็„ถ้œ€่ฆ่ˆๅผƒไธ€ไธช็ปดๅบฆ๏ผŒ่ฟ™ไธช็ปดๅบฆๅฏ
่ƒฝๆ˜ฏe
1
ๆˆ–e
2
๏ผŒ็„ถ่€Œ้€‰ๅ–ๅ“ชไธช็ปดๅบฆๆ›ดๅฅฝๅ‘ข๏ผŸ ็›ด่ง‰ไธŠๆˆ‘ไปฌไผš่ฎคไธบ้€‰ๅ–e
2
ไผšๆ›ดๅฅฝ๏ผŒๅ› ไธบๅฝ“
ๆ‰€ๆœ‰็š„ๆ•ฐๆฎ็‚น้ƒฝๆŠ•ๅฝฑๅˆฐ่ฟ™ไธชๅŸบไธŠๆ—ถ๏ผŒ็›ธๆฏ”ไบŽe
1
่ƒฝๆ›ดๅฅฝๅœฐไฟ็•™ๆ•ฐๆฎ็š„ไฟกๆฏใ€‚
็„ถ่€Œ๏ผŒe
1
ๅ’Œe
2
ๆ˜ฏๆˆ‘ไปฌไปปๆ„้€‰ๅ–็š„ไธคไธชๅŸบๅ‘้‡๏ผŒไบ‹ๅฎžไธŠๆœ‰ๅฏ่ƒฝๆœ‰ๅฆๅค–็š„ๅŸบๅ‘้‡
่ฆๆฏ”e
1
ๆ›ดๅฅฝ็š„ไฟ็•™ๅŽŸๅง‹ๆ•ฐๆฎ็š„็‰นๅพ๏ผŒๅ‡่ฎพๆœ€ไผ˜็š„ๅŸบๅ‘้‡ไธบe๏ผŒ้‚ฃไนˆไธบไบ†ๅˆป็”ปๆ•ฐๆฎ้™
็ปดๅŽๅŽŸๅง‹ๆ•ฐๆฎไธŽ้™็ปดๅŽๆ•ฐๆฎ็š„ๅทฎๅผ‚ๆ€ง๏ผŒๆˆ‘ไปฌๅผ•ๅ…ฅไธ€ไธชๅ‡†ๅˆ™ๅ‡ฝๆ•ฐ
J(ฮฑ
1
, ฮฑ
2
, ยทยทยท , ฮฑ
n
) =
n
๎˜
i=1
๎€’
( ยฏx + ฮฑ
i
e) โˆ’ x
(i)
๎€“๎€’
( ยฏx + ฮฑ
i
e) โˆ’ x
(i)
๎€“
T
(7-5)
ๅผไธญ๏ผŒ ยฏx + ฮฑ
i
eๅฎž่ดจไธŠไปฃ่กจ็š„ๆ˜ฏๅŽŸๅง‹ๆ•ฐๆฎ้™็ปดๅˆฐไธ€็ปด็ฉบ้—ดๅŽๅœจไบŒ็ปด็ฉบ้—ดไธญ็š„ๅๆ ‡๏ผŒ
ๅณๅŽŸๅง‹ๆ•ฐๆฎๅœจๅŸบๅ‘้‡e็š„ๆŠ•ๅฝฑ็‚น็š„ไบŒ็ปดๅๆ ‡ใ€‚ๅ‡†ๅˆ™ๅ‡ฝๆ•ฐไฝฟ็”จ็š„ไพ็„ถๆ˜ฏๆˆ‘ไปฌ้žๅธธ็†Ÿ
ๆ‚‰็š„ไบŒ่Œƒๆ•ฐ๏ผŒ่ฟ™ไธชๅ‡†ๅˆ™ๅ‡ฝๆ•ฐไบ‹ๅฎžไธŠๅˆป็”ป็š„ๆ˜ฏๅŽŸๅง‹ๅๆ ‡ๅˆฐๆŠ•ๅฝฑๅๆ ‡่ท็ฆป็š„ๅนณๆ–น๏ผŒไนŸ
ๅฐฑๆ˜ฏไธค่€…็ฉถ็ซŸ็›ธๅทฎไบ†ๅคš่ฟœใ€‚ไธบไบ†ๆœ€ๅฐๅŒ–่ฟ™ไธชๅ‡†ๅˆ™ๅ‡ฝๆ•ฐ๏ผŒๆˆ‘ไปฌๅ…ˆๅฏนๅผ(7-5)่ฟ›่กŒๅฑ•ๅผ€๏ผŒ
่ฟ™ๅฐ†ๅพ—ๅˆฐ
J(ฮฑ
1
, ฮฑ
2
, ยทยทยท , ฮฑ
n
, e) =
n
๎˜
i=1
ฮฑ
2
i
||e||
2
โˆ’ 2
n
๎˜
i=1
ฮฑ
i
e
T
(x
i
โˆ’ ยฏx) +
n
๎˜
i=1
||x
i
โˆ’ ยฏx||
2
(7-6)
็”ฑไบŽ
๎
n
i=1
||x
i
โˆ’ ยฏx||
2
ๅชไธŽๆ•ฐๆฎ็›ธๅ…ณ่€ŒไธŽๅ‚ๆ•ฐๆ— ๅ…ณๅฏไปฅ่ˆๅŽป๏ผŒๆญคๅค–๏ผŒeๆ˜ฏๅ•ไฝๅ‘้‡๏ผŒๆ‰€
ไปฅ||e||
2
็ญ‰ไบŽ1๏ผŒๅ› ๆญคๅ‡†ๅˆ™ๅ‡ฝๆ•ฐๅฏไปฅ็ฎ€ๅ†™ไธบ
J(ฮฑ
1
, ฮฑ
2
, ยทยทยท , ฮฑ
n
, e) =
n
๎˜
i=1
ฮฑ
2
i
โˆ’ 2
n
๎˜
i=1
ฮฑ
i
e
T
(x
i
โˆ’ ยฏx) (7-7)
ไธบไบ†ๆœ€ๅฐๅŒ–่ฟ™ไธชๅ‡†ๅˆ™ๅ‡ฝๆ•ฐ๏ผŒๆˆ‘ไปฌๅฏนๅ…ถๆฑ‚ๅๅฏผ๏ผŒๅนถๅฆๅฏผๆ•ฐไธบ0๏ผŒๅˆ™
- 69 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
โˆ‚
โˆ‚ฮฑ
i
= 2ฮฑ
i
โˆ’ 2e
T
(x
i
โˆ’ ยฏx) = 0 (7-8)
ๅ› ๆญคๅฝ“ฮฑ
i
= e
T
(x
i
โˆ’ ห†x)ๅ‡†ๅˆ™ๅ‡ฝๆ•ฐๅ–ๅพ—ๆœ€ๅฐใ€‚่ฟ™ๅฎž่ดจไธŠ่ฏดๆ˜Ž๏ผŒๅฝ“ๆ•ฐๆฎ็‚นๆŠ•ๅฝฑๅˆฐeๆ—ถไฝฟๅพ—
ๅ‡†ๅˆ™ๅ‡ฝๆ•ฐๆœ€ๅฐ๏ผŒไธŽๆˆ‘ไปฌๅ‰้ข็š„็Œœๆต‹็ฌฆๅˆใ€‚ๅฐ†(7-8)ไปฃๅ›ž(7-7)๏ผŒๆˆ‘ไปฌไพฟๅฏไปฅๆถˆๅŽปๅ‡†ๅˆ™
ๅ‡ฝๆ•ฐไธญ็š„nไธชๅ˜้‡ฮฑ
1
, ยทยทยท , ฮฑ
n
๏ผŒๅชๅ‰ฉไฝ™ไธ€ไธชๅ˜้‡e๏ผŒๅณ
J(e) = โˆ’
n
๎˜
i=1
e
T
(x
i
โˆ’ ห†x)(x
i
โˆ’ ห†x)
T
e (7-9)
ๅฆ‚ๆžœๆˆ‘ไปฌ่ฎฐๅทๆ•ฃๅธƒ็Ÿฉ้˜ตไธบ
S =
n
๎˜
i=1
(x
i
โˆ’ ห†x)(x
i
โˆ’ ห†x)
T
(7-10)
ๅˆ™ๅ‡†ๅˆ™ๅ‡ฝๆ•ฐๅฏไปฅ่ฐขไผŸ
J(e) = โˆ’e
T
S e (7-11)
ๆญคๆ—ถๆ˜ฏไธ€ไธช็บฆๆŸไผ˜ๅŒ–้—ฎ้ข˜๏ผŒ็บฆๆŸๆกไปถไธบ็ญ‰ๅผ็บฆๆŸe
T
e = 1๏ผŒไธบๆญคๅผ•ๅ…ฅๆ‹‰ๆ ผๆœ—ๆ—ฅไน˜
ๅญฮป๏ผŒๆž„้€ ๆ‹‰ๆ ผๆœ—ๆ—ฅๅ‡ฝๆ•ฐไธบ
L(e) = โˆ’e
T
S e + ฮป(e
T
e โˆ’ 1) (7-12)
ๅฏนๆ‹‰ๆ ผๆœ—ๆ—ฅๆฑ‚ๅๅฏผ๏ผŒๅนถๅฆๅๅฏผไธบ0
โˆ‚
โˆ‚e
L(e) = โˆ’2S e + 2ฮปe = 0 (7-13)
ๆญคๆ—ถ่ฏดๆ˜Ž๏ผŒๅฝ“S e = ฮปeๆ—ถ๏ผŒๅ‡†ๅˆ™ๅ‡ฝๆ•ฐๆœ€ๅฐ๏ผŒ่€Œไบ‹ๅฎžไธŠ่ฟ™ๆ˜ฏ็Ÿฉ้˜ตๅฏน็‰นๅพๆ น็š„ๅฎšไน‰๏ผŒๅ› 
ๆญคไธบไบ†ๆœ€ๅฐๅŒ–ๅ‡†ๅˆ™ๅ‡ฝๆ•ฐ๏ผŒๅŸบๅ‘้‡eๅบ”ๅฝ“้€‰ๅ–ไธบๆ•ฃๅธƒ็Ÿฉ้˜ตS ็š„็‰นๅพๅ‘้‡ใ€‚่ฟ™ไธช็ป“่ฎบๅฏ
ไปฅๅพˆๅฎนๆ˜“ๆŽจๅนฟๅˆฐ้ซ˜็ปดๆƒ…ๅ†ต๏ผŒๅ‡่ฎพๆˆ‘ไปฌๆœ‰nไธชd็ปด็š„ๆ•ฐๆฎๆ ทๆœฌ๏ผŒ้‚ฃไนˆๆˆ‘ไปฌๆ€ป่ƒฝๆž„้€ ไป–
็š„ๆ•ฃๅธƒ็Ÿฉ้˜ตS ๏ผŒไธบไบ†ๅฐ†ๅฎƒ้™ๅˆฐk็ปด่€ŒๅŒๆ—ถๅˆ่ฆไฝฟๅพ—ๅ‡†ๅˆ™ๅ‡ฝๆ•ฐๆœ€ๅฐๅŒ–๏ผŒๆˆ‘ไปฌๅบ”่ฏฅ้€‰
ๅ–S ๆœ€ๅคง็š„kไธช็‰นๅพๅ€ผๆ‰€ๅฏนๅบ”็š„็‰นๅพๅ‘้‡ไฝœไธบๆŠ•ๅฝฑๅŸบ๏ผŒไปŽ่€Œๆ–ฐ็š„k็ปดๅๆ ‡ไธบ
ฮฑ
i
= e
T
(x
(i)
โˆ’ ห†x) (7-14)
็”ฑไบŽ็‰นๅพๅ‘้‡ไน‹้—ดๆ˜ฏๆญฃไบค็š„๏ผŒๅ› ๆญค้™็ปดๅŽ็š„ๆ•ฐๆฎๅœจๅ„ไธช็ปดๅบฆๆ˜ฏ็‹ฌ็ซ‹็š„๏ผŒ่ฟ™ไนŸ
ๆ˜ฏ็™ฝๅŒ–็š„็›ฎ็š„๏ผŒๅ› ๆญคไธปๆˆๅˆ†ๅˆ†ๆžไนŸๆ˜ฏไธ€็ง็™ฝๅŒ–ๆ–นๆณ•ใ€‚ๆœ‰ๆ—ถๅ€™ๆˆ‘ไปฌ้œ€่ฆๅฐ†้™็ปดๅŽ็š„
ๆ•ฐๆฎ่ฟ˜ๅŽŸๅ›žๅŽŸๅง‹็š„็ปดๅบฆไปฅๆฃ€ๆต‹้™็ปดๅŽ็š„ๆ•ฐๆฎ็ฉถ็ซŸๆŸๅคฑไบ†ๆ‰€็ƒงไฟกๆฏ๏ผŒ้‚ฃไนˆๅˆฉ็”จ็‰นๅพ
ๅ‘้‡็š„ๆญฃไบคๆ€ง๏ผŒๆœ‰
eฮฑ
i
= ee
T
(x
(i)
โˆ’ ห†x) = x
(i)
โˆ’ ห†x (7-15)
ๆญคๆ—ถ็ญ‰ๅทไธค่พนๅŒๆ—ถๅŠ ไธŠๅ‡ๅ€ผ ห†xๅณๅฏ่ฟ˜ๅŽŸๅ‡บd็ปดๆ•ฐๆฎใ€‚ๅฆ‚ๅ›พ7-3ๆ‰€็คบๆ˜ฏ28 ร— 28ๅƒ็ด ็š„ๅ›พ
ๅƒ๏ผŒๅฎƒๅ…ฑๆœ‰784็ปด๏ผŒๅ…ถๅŽŸๅง‹ๆ•ฐๆฎไธบ้ป‘ๅบ•็š„ๅ›พๅƒๆ‰€็คบใ€‚ๅฆ‚ๆžœๆˆ‘ไปฌไฝฟ็”จไธปๆˆๅˆ†ๅˆ†ๆžๅฐ†ๅ…ถ
้™ๅˆฐ20็ปดๅŽๅ†ๅฐ†ๅ…ถ่ฟ˜ๅŽŸๆˆ784็ปดๆ•ฐๆฎ๏ผŒๅ…ถๅ›พๅƒๅฆ‚็ฐๅบ•ๅ›พๅƒๆ‰€็คบ๏ผŒๆˆ‘ไปฌๅฏไปฅ็œ‹ๅˆฐ๏ผŒ็ป
- 70 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
่ฟ‡้™็ปดๅŽๅ†่ฟ˜ๅŽŸ็š„ๆ•ฐๆฎๅทฒ็ปๅ˜ๅพ—ๆจก็ณŠๅŒ–๏ผŒ่€Œ่ฟ™ไบ›ๆจก็ณŠๅŒ–ๅนถไธไผšๅฝฑๅ“ๆˆ‘ไปฌๅฏนๆ•ฐๅญ—็š„
่ฏ†ๅˆซใ€‚
ๅ›พ 7-3 ็ป่ฟ‡ไธปๆˆๅˆ†ๅˆ†ๆž้™็ปดๅŽ่ฟ˜ๅŽŸ็š„ๆ•ฐๆฎ
7.1.1.2 ๅคš็ปดๅฐบๅบฆๅˆ†ๆž
ๅœจไป‹็ปๅคš็ปดๅฐบๅบฆๅˆ†ๆž
[42]
ไน‹ๅ‰๏ผŒๆˆ‘ไปฌๅ…ˆไปŽๅœฐๅ›พ้‡ๆž„็š„้—ฎ้ข˜่ฎฒ่ตทใ€‚ๅ‡่ฎพๆˆ‘ไปฌ
ๅœจไธญๅ›ฝๅœฐๅ›พไธญ้€‰ๅ–ไบ”ไธชๅŸŽๅธ‚๏ผŒๅˆ†ๅˆซไธบๅŒ—ไบฌใ€ไธŠๆตทใ€ๅนฟๅทžใ€ๅ…ฐๅทžใ€ๅ“ˆๅฐ”ๆปจ๏ผŒไพๆฌก
็”จAใ€Bใ€Cใ€Dใ€Eไปฃๆ›ฟใ€‚ๅฆ‚ๆžœๆˆ‘ไปฌไปฅๅŒ—ไบฌไธบๅๆ ‡ๅนณ้ข็š„ๅŽŸ็‚น๏ผŒ้‚ฃไนˆๅ‰ฉไธ‹็š„ๅŸŽๅธ‚ๅ
ๆ ‡ๅˆ†ๅˆซไธบ๏ผšไธŠๆตท(631.6, โˆ’796.4)ใ€ๅนฟๅทž(103.8, โˆ’2029.2)ใ€ๅ…ฐๅทž(โˆ’1228, โˆ’428.1)ใ€ๅ“ˆๅฐ”
ๆปจ(265, 1082)๏ผŒๅฐ†่ฟ™ไบ›ๅŸŽๅธ‚็š„ๅๆ ‡ๆ็ป˜ๅœจๅนณ้ข็›ด่ง’ๅๆ ‡็ณปไธŠ็š„็ป“ๆžœๅฆ‚ๅ›พ7-4 a)ๆ‰€็คบใ€‚
ๅฆๅค–๏ผŒๆˆ‘ไปฌๅฏไปฅ้€š่ฟ‡่ฎก็ฎ—ๅพ—ๅˆฐ่ฟ™ไบ”ไธชๅŸŽๅธ‚็š„ไธคไธค่ท็ฆปๅฆ‚ๅ›พ7-4 b)ๆ‰€็คบใ€‚
a) ๅŸŽๅธ‚ๅˆ†ๅธƒๅ›พ b) ๅŸŽๅธ‚้—ดไธคไธค่ท็ฆป
ๅ›พ 7-4 ไบ”ไธชๅŸŽๅธ‚็š„ไฟกๆฏ
ๅฆ‚ๆžœ็Žฐๅœจๆˆ‘ไปฌไธๅ†็Ÿฅ้“ๅ„ไธชๅŸŽๅธ‚็š„ๅ…ทไฝ“ๅๆ ‡๏ผŒๆˆ‘ไปฌๅช็Ÿฅ้“ๅ›พ7-4 b)ไธญไธคไธคๅŸŽๅธ‚
ไน‹้—ด็š„่ท็ฆป๏ผŒ้‚ฃไนˆๅฆ‚ไฝ•้€š่ฟ‡ๅ›พ7-4 b)ไธญ็š„ไฟกๆฏ่ฟ›่กŒๅœฐๅ›พ็š„้‡ๅปบ๏ผŒๆˆ–่€…่ฏดๆ นๆฎ่ท็ฆปๆŽจ
ๅฏผๅ‡บๅ„ไธชๅŸŽๅธ‚็š„ๅๆ ‡ๅ‘ข๏ผŸ ่ฟ™ๅฐฑๆ˜ฏๅคš็ปดๅฐบๅบฆๅˆ†ๆžๆ‰€่ฆๅฎŒๆˆ็š„ๅทฅไฝœใ€‚
้ฆ–ๅ…ˆ๏ผŒๆˆ‘ไปฌๅ‡่ฎพ่ฟ™nไธชๅŸŽๅธ‚็š„ๅๆ ‡ๆž„ๆˆไธ€ไธช็Ÿฉ้˜ตX = [x
1
, x
2
, ยทยทยท , x
n
]
T
๏ผŒ้‚ฃไนˆๅŸŽ
ๅธ‚iๅ’ŒๅŸŽๅธ‚ jไน‹้—ด็š„ๆฌงๅผ่ท็ฆป็š„ๅนณๆ–นไธบ
- 71 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
s
i j
= (x
i
โˆ’ x
j
)
T
(x
i
, x
j
) (7-16)
็”ฑs
i j
ๅฏไปฅๆž„ๆˆไธ€ไธชn ร— n็š„็Ÿฉ้˜ตS
nร—n
๏ผŒ่ฟ™ไธช็Ÿฉ้˜ตๆˆ‘ไปฌ็งฐไธบ่ท็ฆป็Ÿฉ้˜ต๏ผŒๅฆ‚ๆžœๆˆ‘ไปฌๅ†ๅฎš
ไน‰Gram็Ÿฉ้˜ตไธบ
G
nร—n
= HXX
T
H (7-17)
ๅ…ถไธญ๏ผŒHไธบๅŽปไธญๅฟƒๅŒ–็Ÿฉ้˜ต๏ผŒๅฎšไน‰ไธบ
H = I
n
โˆ’ ee
T
(7-18)
ๅ…ถไธญ๏ผŒI
n
ไธบn้˜ถๅ•ไฝ็Ÿฉ้˜ต๏ผŒe =
1
โˆš
n
(1, ยทยทยท , 1)
T
๏ผŒ้‚ฃไนˆGram็Ÿฉ้˜ตๅฏไปฅๆŽจๅฏผไธบ
G
nร—n
= HXX
T
H =
๎€”
(x โˆ’ ยฏx)
T
(x โˆ’ ยฏx)
๎€•
(7-19)
ๅผไธญ๏ผŒ ยฏxไธบX็š„ๅ‡ๅ€ผ๏ผŒ้€š่ฟ‡ๅผ(7-19)๏ผŒ่ฟ›ไธ€ๆญฅๅฏไปฅๆŽจๅฏผๅพ—
G
nร—n
= โˆ’
1
2
HS H (7-20)
็”ฑไบŽๆฌงๅ‡ ้‡Œๅพ—่ท็ฆปๆ˜ฏๆญฃๅฎš็š„๏ผŒๅ› ๆญคGram็Ÿฉ้˜ตไนŸๆ˜ฏๆญฃๅฎš็š„๏ผŒๅฆ‚ๆžœๆˆ‘ไปฌๅฐ†Gram็Ÿฉ้˜ต็‰น
ๅพๅˆ†่งฃ๏ผŒๅˆ™ๆœ‰
G
nร—n
= PฮฃP
T
(7-21)
ๅผไธญ๏ผŒฮฃไธบGram็Ÿฉ้˜ต็‰นๅพๅ€ผๆž„ๆˆ็š„ๅฏน่ง’็Ÿฉ้˜ต
ฮฃ =
๏ฃฎ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฐ
ฮป
1
.
.
.
ฮป
n
๏ฃน
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃป
(7-22)
PไธบGram็š„็‰นๅพๅ‘้‡ๆž„ๆˆ็š„็Ÿฉ้˜ต๏ผŒๅณP = [p
1
, ยทยทยท , p
n
]ใ€‚ๅฆ‚ๆžœๆˆ‘ไปฌๆๅ–ๅ‡บGram็Ÿฉ้˜ต
ๆœ€ๅคง็š„kไธช็‰นๅพๅ€ผไปฅๅŠๅ…ถๅฏนๅบ”็š„็‰นๅพๅ‘้‡๏ผŒ้‚ฃไนˆ้€š่ฟ‡
ห†
X =
๏ฃฎ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฐ
โˆš
ฮป
1
.
.
.
โˆš
ฮป
k
๏ฃน
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃป
[p
1
, ยทยทยท , p
k
] (7-23)
ๆˆ‘ไปฌๅฐ†ๅพ—ๅˆฐๅซๆœ‰nไธชk็ปดๅ‘้‡็š„็Ÿฉ้˜ต
ห†
X๏ผŒ่ฟ™ไธช็Ÿฉ้˜ต
ห†
Xๅฐฑๆ˜ฏXๅœจk็ปด็ฉบ้—ด็š„ไธ€ไธชๆ˜ ๅฐ„ใ€‚ไพ‹
ๅฆ‚๏ผŒๅœจๆˆ‘ไปฌๅœฐๅ›พ้‡ๆž„็š„้—ฎ้ข˜ไธญ๏ผŒ้€š่ฟ‡ๅ›พ7-4 b)ไธญ็š„่ท็ฆปไฟกๆฏ๏ผŒๅฝ“k = 2ๆ—ถ๏ผŒๆˆ‘ไปฌๆฑ‚ๅพ—
ห†
X =
๏ฃฎ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฏ
๏ฃฐ
โˆ’45.6 434
โˆ’677.1 โˆ’362.1
โˆ’149.3 โˆ’1594.9
1182.5 6.2
โˆ’310.5 1516.5
๏ฃน
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃบ
๏ฃป
(7-24)
- 72 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ๅฆ‚ๆžœๅฐ†ไธŠ่ฟฐๆฑ‚ๅพ—็š„ๅๆ ‡ๆ็ป˜ๅœจๅนณ้ข็›ด่ง’ๅๆ ‡็ณปไธŠ๏ผŒๅ…ถ็ป“ๆžœๅฆ‚ๅ›พ7-5 a)ๆ‰€็คบใ€‚ๆˆ‘
ไปฌๅฏไปฅ็œ‹ๅˆฐ๏ผŒ่ฟ™ไบ›็‚นไธŽ็œŸๅฎžๅˆ†ๅธƒๅๅˆ†็›ธไผผ๏ผŒๅช็›ธๅทฎไธ€ไธชๆฐดๅนณ้•œๅƒ๏ผŒๆˆ‘ไปฌๅฐ†ๅ…ถ้•œๅƒ
ๅŽ็š„็ป“ๆžœๅฆ‚ๅ›พ7-5 b)ๆ‰€็คบใ€‚้•œๅƒ็ป“ๆžœๆ˜พ็คบ๏ผŒ้‡ๆž„็š„ๅœฐๅ›พไธญ๏ผŒๅ„ไธชๅŸŽๅธ‚ๆ‰€ๅœจ็š„็›ธๅฏนไฝ
็ฝฎไธŽ็œŸๅฎžๅœฐๅ›พไธญๅŸŽๅธ‚็š„็›ธๅฏนไฝ็ฝฎ็›ธๅŒ๏ผŒไฝ†ๆ˜ฏไธๅŒ็š„ๆ˜ฏ๏ผŒๅœจ้‡ๆž„็š„ๅœฐๅ›พไธญ๏ผŒ็ปๅฏนไฝ
็ฝฎๆ”นๅ˜ไบ†๏ผŒไพ‹ๅฆ‚ๆˆ‘ไปฌๅฏไปฅ็œ‹ๅˆฐ๏ผŒๅŽŸๆฅๅค„ไบŽๅŽŸ็‚นไฝ็ฝฎ็š„ๅŒ—ไบฌ็Žฐๅœจไธๅœจๅค„ไบŽๅŽŸ็‚นใ€‚
a) ้‡ๆž„ๅŽๅพ—ๅˆฐ็š„็›ดๆŽฅ็ป“ๆžœ b) ้•œๅƒๅŽ็š„็ป“ๆžœ
ๅ›พ 7-5 ๅคš็ปดๅฐบๅบฆๅˆ†ๆžๅฏนๅœฐๅ›พ็š„้‡ๆž„
ๅœฐๅ›พ้‡ๆž„็š„ไพ‹ๅญๅนถๆฒกๆœ‰ๅฑ•็Žฐๅ‡บๅคš็ปดๅฐบๅบฆๅˆ†ๆžๆ˜ฏๅฆ‚ไฝ•้™็ปด็š„๏ผŒๅ› ไธบ่ฟ™้‡Œๅชๆ˜ฏไปŽ
ไธ€ไธชไบŒ็ปดๅๆ ‡่ฝฌๆขๅˆฐๅฆไธ€ไธชไบŒ็ปดๅๆ ‡ใ€‚ไฝ†็”ฑไบŽ่ฟ™ไธช่ฝฌๆข็š„่ฟ‡็จ‹ไธญไฝฟ็”จ็š„ๆฌงๅ‡ ้‡Œ
ๅพ—่ท็ฆปๅฏนไบŽ้ซ˜็ปด็ฉบ้—ดๆ˜ฏๅฏๅค็”จ็š„๏ผŒๅ› ๆญคๅฏนไบŽๅคš็ปดๅฐบๅบฆๅˆ†ๆž็š„้™็ปด๏ผŒๆˆ‘ไปฌๅ…ˆ้€š่ฟ‡้ซ˜
็ปด็ฉบ้—ดไธญ็š„ๆ•ฐๆฎ็‚นไธคไธคๆฑ‚่ท็ฆป๏ผŒๅพ—ๅˆฐๅนณๆ–น่ท็ฆป็Ÿฉ้˜ต๏ผŒๅœจ้€š่ฟ‡่ฟ™ไธชๅนณๆ–น่ท็ฆป็Ÿฉ้˜ตๆฑ‚
ๅ–Gram็Ÿฉ้˜ต๏ผŒๅฐ†Gram็Ÿฉ้˜ต็‰นๅพๅˆ†่งฃ๏ผŒ้€‰ๅ–ๆœ€ๅคง็š„kไธช็‰นๅพๅ€ผไปฅๅŠๅฏนๅบ”็š„็‰นๅพๅ‘้‡๏ผŒ
ๅˆฉ็”จไป–ไปฌๅฏไปฅๅฐ†ๅŽŸๅง‹็š„้ซ˜็ปดๆ•ฐๆฎ้™ๅˆฐk็ปดๆ•ฐๆฎใ€‚ไพ‹ๅฆ‚๏ผŒๅ›พ7-6ๆ่ฟฐไบ†ไธ‰็ปด็ฉบ้—ดไธญ็š„
ๆ•ฐๆฎ้™ๅˆฐไบŒ็ปด็ฉบ้—ด็š„่ฟ‡็จ‹ใ€‚
a) ไธ‰็ปด็ฉบ้—ดไธญ็š„ๅŽŸๅง‹ๆ•ฐๆฎ b) ้™ๅˆฐไบŒ็ปด็ฉบ้—ดๅŽ็š„ๆ•ฐๆฎ
ๅ›พ 7-6 ๅคš็ปดๅฐบๅบฆๅˆ†ๆž็š„้™็ปด
- 73 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ๅคš็ปดๅฐบๅบฆๅˆ†ๆžๅนถไธๆ˜ฏไธ€ไธชๅบ”็”จ้žๅธธๅนฟๆณ›็š„้™็ปดๆ–นๆณ•๏ผŒๅ…ถไธป่ฆๅŽŸๅ› ๅœจไบŽๆฌงๅ‡ ้‡Œ
ๅพ—่ท็ฆป๏ผŒๅฆ‚ๅ›พ7-7ไธ‰็ปด็ฉบ้—ดไธญABไธค็‚น๏ผŒๅฆ‚ๆžœไฝฟ็”จๆฌงๅ‡ ้‡Œๅพ—่ท็ฆป๏ผˆๅ›พไธญ็š„็ปฟ็บฟ๏ผ‰๏ผŒ้‚ฃ
ไนˆๆˆ‘ไปฌ่ฎคไธบ่ฟ™ไธค็‚นๆ˜ฏๅๅˆ†ๆŽฅ่ฟ‘็š„๏ผŒๅ› ๆญค้™ๅˆฐไบŒ็ปด็ฉบ้—ดๅŽ่ฟ™ไธค็‚นๅฐ†ไผš้ ๅพ—ๅพˆ่ฟ‘ใ€‚ไฝ†
ไบ‹ๅฎžไธŠABไธค็‚น็›ธ่ทๅพˆ่ฟœ๏ผŒๅฎƒไปฌไธค่€…ไน‹้—ด็ป่ฟ‡ๅพˆ้•ฟไธ€ๆฎตๆตๅฝข๏ผˆๅ›พไธญ็š„็บข็บฟ๏ผ‰๏ผŒ่€Œๆฌง
ๅ‡ ้‡Œๅพ—่ท็ฆปๅฟฝ่ง†ไบ†่ฟ™็ง่ท็ฆปใ€‚
ๅ›พ 7-7 Swiss Roll
ๅฐฝ็ฎกๅคš็ปดๅฐบๅบฆๅˆ†ๆžๅนถไธๅธธ็”จ๏ผŒไฝ†ๆ˜ฏ้€š่ฟ‡ๅฎƒๅฏไปฅๅผ•ๅ…ฅๆตๅฝขๅญฆไน ไธญ็š„ไธ€ไบ›็ปๅ…ธ็ฎ—
ๆณ•๏ผŒไพ‹ๅฆ‚Isomap็ญ‰๏ผŒ็”จไปฅ่งฃๅ†ณๅ›พ7-7ไธญ็ฑปไผผ็š„ๆƒ…ๅ†ต๏ผŒๆ›ดๅคš็š„่ฎจ่ฎบๅฏๅ‚่€ƒๆ–‡็Œฎxxxx
7.1.2 ๆ‰ฉๅฎน
ๆœบๅ™จๅญฆไน ไธšๅ†…ๆœ‰ไธ€ไธชๅ…ฑ่ฏ†๏ผŒๅพˆๅคšๆ—ถๅ€™ๅˆซไบบ็š„ๅˆ†็ฑปๆ€ง่ƒฝๆฏ”ไฝ ็š„ๅฅฝๅนถไธๆ„ๅ‘ณ็€ไป–
็š„็ฎ—ๆณ•ๆฏ”ไฝ ็š„ๅฅฝ๏ผŒๆ›ดๅคง็š„ๅฏ่ƒฝๆ˜ฏไป–ๆ‹ฅๆœ‰ๆฏ”ไฝ ๆ›ดๅคš็š„ๆ•ฐๆฎใ€‚ๆ•ฐๆฎๆ˜ฏ็ปŸ่ฎกๆœบๅ™จๅญฆไน ็š„
ๅ‘ฝ่„‰๏ผŒๆฒกๆœ‰ๆ•ฐๆฎ๏ผŒๅ†ๅฅฝ็š„ๆจกๅž‹ไนŸ้šพไปฅๅฅๆ•ˆใ€‚ๅฆ‚ๆžœๆŠŠๆœบๅ™จๅญฆไน ไธญ็š„็ฎ—ๆณ•ๆฏ”ไฝœๆ˜ฏ่ˆชๅคฉ
ๅ™จ็š„ๅผ•ๆ“Ž๏ผŒ้‚ฃไนˆๆ•ฐๆฎๅฐฑๆ˜ฏ่ˆชๅคฉๅ™จ็š„็‡ƒๆ–™ใ€‚่ฟ™็ง็Žฐ่ฑกๅœจๆทฑๅบฆๅญฆไน ไธญๅฐคไธบๆ˜Žๆ˜พ๏ผŒ็‰นๅˆซ
ๆ˜ฏๅท็งฏ็ฅž็ป็ฝ‘็ปœใ€‚ๆทฑๅบฆๅญฆไน ้œ€่ฆๅคง้‡็š„ๆ•ฐๆฎๆ ทๆœฌ๏ผŒ่ฟ™ไธช้œ€ๆฑ‚้‡้š็€่ฏ†ๅˆซไปปๅŠกๅคๆ‚
ๆ€ง็š„ๅขžๅŠ ่€ŒๅขžๅŠ ใ€‚ๅฐฝ็ฎกไบ’่”็ฝ‘็š„ๅคงๆ•ฐๆฎๆ—ถไปฃๆ•ฐๆฎๅฎนๆ˜“่Žทๅ–๏ผŒไฝ†ๆœ‰ไบ›ๆ—ถๅ€™ๆ•ฐๆฎๆ˜ฏๆœ‰
้™็š„๏ผŒๅฏนไบŽๆœ‰้™็š„ๆ•ฐๆฎ้›†๏ผŒๆˆ‘ไปฌๅฏไปฅ้€š่ฟ‡ไธ€ๅฎš็š„ๆ‰‹ๆฎตๅฐ†ๆ•ฐๆฎ้›†็š„ๅฎน้‡ๆ‰ฉๅคงใ€‚ไพ‹ๅฆ‚
ๅœจๅญ—็ฌฆ่ฏ†ๅˆซไปปๅŠกไธญ๏ผŒๆˆ‘ไปฌ็Ÿฅ้“๏ผŒๅญ—็ฌฆๅพฎ้‡็š„ๆ‰ญๆ›ฒใ€ๆ—‹่ฝฌใ€ๆ”พๅคงใ€็ผฉๅฐๅฏนไบบ่€Œ่จ€ๆ˜ฏ
- 74 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ไธไผšๅฝฑๅ“ๅญ—็ฌฆ็š„่ฏ†ๅˆซ๏ผŒๅ› ๆญค๏ผŒๆˆ‘ไปฌๅฏไปฅๅฏนๅŽŸๅง‹ๆ•ฐๆฎ่ฟ›่กŒ้šๆœบๅœฐ้€‰ๅ–ไธŠ่ฟฐไธ€ไธชๆˆ–ๅคš
ไธชๅ˜ๆข๏ผŒไฝฟๅพ—ๆ•ฐๆฎ็š„ๅฎน้‡ๅขžๅคง
[43]
ใ€‚ๅˆไพ‹ๅฆ‚๏ผŒ็œŸๅฎž็”Ÿๆดปไธญ็š„ๅ›พ็‰‡๏ผŒๆฐดๅนณ้•œๅƒใ€ๅฏนๆฏ”
ๅบฆๅพฎ่ฐƒใ€้ฅฑๅ’Œๅบฆๅพฎ่ฐƒ็ญ‰ๆ“ไฝœๅฏนไบบ่€Œ่จ€ไธๅฝฑๅ“ๆœ€็ปˆ็š„ๅ›พๅƒ่ฏ†ๅˆซ๏ผŒๆˆ‘ไปฌๅˆฉ็”จ่ฟ™ไธช็‰นๆ€ง
ๅฏนๅ›พๅƒ้‡‡ๅ–ไธ€ๅฎš็š„ๅ˜ๆขไพฟๅฏๅพˆๅคง็จ‹ๅบฆๅœฐๅขžๅคง่ฎญ็ปƒ้›†็š„ๅฎน้‡๏ผŒไพ‹ๅฆ‚๏ผŒไป…ไป…ๆ˜ฏๅ›พๅƒ็š„
ๆฐดๅนณ้•œๅƒๅฐฑๅฏไปฅไฝฟๅพ—ๆ•ฐๆฎ้›†ๆ‰ฉๅคงไธ€ๅ€ใ€‚
ๆ•ฐๆฎ็š„ๆ‰ฉๅฎน๏ผŒๅฎž่ดจไธŠๆ˜ฏไธ€็ง่ดๅถๆ–ฏๅ…ˆ้ชŒ๏ผŒๅ› ไธบๆˆ‘ไปฌๅฏนๆ•ฐๆฎ้‡‡ๅ–็š„ๅ˜ๆข็ญ–็•ฅไธ
ไผšๅฝฑๅ“ๆœ€็ปˆ็š„ๅˆ†็ฑป๏ผŒไพ‹ๅฆ‚๏ผŒๆˆ‘ไปฌไธไผšๅฏนๅญ—็ฌฆ่ฟ›่กŒ้•œๅƒๅค„็†ใ€‚่ฟ™็งๅ…ˆ้ชŒ๏ผŒไฝฟๅพ—ๆจกๅž‹
ๅฏไปฅๅ…็–ซไธ€ๅฎš็š„ๅนฒๆ‰ฐ๏ผŒไพ‹ๅฆ‚้‡‡ๅ–ไบ†ๆฐดๅนณไฝ็งปๅ˜ๆข็ญ–็•ฅ็š„ๆ•ฐๆฎ้›†ๅ—ๅˆฐๆฐดๅนณไฝ็งป็š„ๅฝฑ
ๅ“ๅฐฑๅ‡ๅฐไบ†๏ผŒ่ฟ™ๅฐฑๆ้ซ˜ไบ†ๆจกๅž‹็š„ๆณ›ๅŒ–่ƒฝๅŠ›ใ€‚
7.2 ่ฎญ็ปƒๆŠ€ๅทง
็ฝ‘็ปœ็š„่ฎญ็ปƒ่ฟ‡็จ‹ไธญ๏ผŒๆˆ‘ไปฌไผšไฝฟ็”จๅˆฐไธ€ไบ›ๆŠ€ๅทง๏ผŒ่ฟ™ไบ›ๆŠ€ๅทงๅคง้ƒจๅˆ†็š„็›ฎ็š„้ƒฝๅœจไบŽ
ๆŠ‘ๅˆถ็ฝ‘็ปœ็š„่ฟ‡ๆ‹ŸๅˆไปฅๅŠ้˜ฒๆญขๅ‡†ๅˆ™ๅ‡ฝๆ•ฐ้™ทๅ…ฅๅฑ€้ƒจๆœ€ไผ˜่งฃใ€‚็”ฑไบŽ่ฟ™ไบ›ๆŠ€ๅทงไผ—ๅคš๏ผŒๆˆ‘ไปฌ
ๆ— ๆณ•ๅœจ่ฟ™้‡Œๆถต็›–ๆ‰€ๆœ‰๏ผŒๅ› ๆญคๆˆ‘ไปฌๅชๆŒ‘้€‰ไบ†ๅ‡ ไธชๅธธ็”จไธ”้‡่ฆ็š„ๆŠ€ๅทง๏ผŒๅˆ†ๅˆซๆ˜ฏๅญฆไน ็Ž‡
็š„่ฎพๅฎšใ€ๅŠจ้‡้กน็š„ไฝฟ็”จไปฅๅŠๆƒ่กฐๅ‡ใ€‚
7.2.1 ๅญฆไน ็Ž‡
ๅœจๆขฏๅบฆไธ‹้™็ฎ—ๆณ•ไธญ๏ผŒๆฏๆฌกๆฑ‚ๅพ—ๅ‡†ๅˆ™ๅ‡ฝๆ•ฐ็›ธๅฏนไบŽๅ‚ๆ•ฐ็š„ๆขฏๅบฆโˆ‚J/โˆ‚ฮธๅŽ๏ผŒๆˆ‘ไปฌๅนถไธ
ๆ˜ฏ็›ดๆŽฅไปฅ่ฟ™ไธชๅ€ผไฝœไธบๅ‚ๆ•ฐ็š„ๅขž้‡๏ผŒๅทฅ็จ‹ไธญ๏ผŒๆˆ‘ไปฌ่ฟ˜ๅบ”ๅฏนๆขฏๅบฆไน˜ไธŠไธ€ไธชๅญฆไน ็Ž‡ฮท๏ผŒๅณ
ๅ‚ๆ•ฐๆ›ดๆ–ฐ็š„ๅ…ฌๅผไธบ
ฮธ = ฮธ โˆ’ ฮท
โˆ‚J
โˆ‚ฮธ
(7-25)
ๅญฆไน ็Ž‡็š„ไฝœ็”จ็ฑปไผผไบŽไธ‹ๅฑฑๆ—ถๆญฅไผ็š„้•ฟๅบฆ๏ผŒๆญฅไผ่ฟ‡้•ฟ๏ผŒๅˆ™ๆœ‰ๅฏ่ƒฝๅฏผ่‡ดๅ‡†ๅˆ™ๅ‡ฝๆ•ฐ้œ‡่ก๏ผŒ
ๅฝฑๅ“ๆ”ถๆ•›้€Ÿๅบฆ๏ผŒๅฆ‚ๆžœๆญฅไผๅๅˆ†ๅคง๏ผŒๅˆ™ไผšๅฏผ่‡ดๅ‘ๆ•ฃ็Žฐ่ฑก๏ผŒๅ“ชๆ€•ๅ‡†ๅˆ™ๅ‡ฝๆ•ฐๆ˜ฏๅ‡ธๅ‡ฝๆ•ฐ๏ผŒ
ๅญ˜ๅœจๅ”ฏไธ€ๆžๅ€ผ็‚น๏ผŒ่ฟ‡ๅคง็š„ๅญฆไน ็Ž‡ไนŸไผšไฝฟๅ…ถๅ‘ๆ•ฃใ€‚ไพ‹ๅฆ‚๏ผŒๅ‡่ฎพๅ‡†ๅˆ™ๅ‡ฝๆ•ฐ่ฎพๅฎšไธบไบŒๆฌก
ๅ‡ฝๆ•ฐ๏ผŒๅณ
J(ฮธ) = ฮธ
2
(7-26)
ๆ˜พ็„ถ่ฟ™ๆ˜ฏไธ€ไธชๅ‡ธๅ‡ฝๆ•ฐ๏ผŒๅญ˜ๅœจๅ”ฏไธ€ๆžๅ€ผ็‚น๏ผŒๅณฮธ = 0ๅค„ใ€‚ๅฆ‚ๆžœๆˆ‘ไปฌๅฏน่ฟ™ไธชๅ‡†ๅˆ™ๅ‡ฝๆ•ฐๆฑ‚
ๅๅฏผ๏ผŒๅˆ™ไธบ
โˆ‚J
โˆ‚ฮธ
= 2ฮธ (7-27)
ๅณๅ‡†ๅˆ™ๅ‡ฝๆ•ฐJ(ฮธ)ไธŠ็š„ๆฏไธ€็‚นฮธ๏ผŒๅ…ถๆขฏๅบฆ้ƒฝ็ญ‰ไบŽ2ฮธใ€‚ๅ‡่ฎพ็Žฐๅœจฮธ = 2๏ผŒ้‚ฃไนˆๆˆ‘ไปฌๅฏไปฅ
ๅพˆๅฎนๆ˜“่ฎก็ฎ—ๅพ—ๅˆฐๅ…ถๆขฏๅบฆไธบ4๏ผŒๆญคๆ—ถ๏ผŒๆœ€ไผ˜็š„ๅญฆไน ็Ž‡ไธบฮท
โˆ—
= 0.5๏ผŒๅ› ไธบ2 โˆ’ 0.5 ร— 4ๆฐ
- 75 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ๅฅฝไฝฟๅพ—ฮธ่ฝๅ…ฅๅˆฐๆœ€ไผ˜่งฃๅณฮธ = 0ๅค„๏ผŒๅฆ‚ๅ›พ7-8 a)ๆ‰€็คบใ€‚ๅฆ‚ๆžœๆˆ‘ไปฌ็š„ๅญฆไน ็Ž‡้€‰ๅ–ๅพ—
ๆฏ”ๆœ€ไผ˜ๅญฆไน ็Ž‡ๅคง๏ผŒๅ‡่ฎพ ๆˆ‘ ไปฌ ้€‰ ๅ– ไธบฮท = 0.7๏ผŒ้‚ฃไนˆๅ‚ๆ•ฐฮธๅฐฑไผšๆฒฟ็€2 โ†’ โˆ’0.8 โ†’
0.32 โ†’ โˆ’0.128 ยทยทยท็š„่ฝจ่ฟนไธ‹้™๏ผŒๅฆ‚ๅ›พ7-8 b)ๆ‰€็คบใ€‚ๅ€˜่‹ฅๆˆ‘ไปฌ็š„ๅญฆไน ็Ž‡ๅ†ๅคงไธ€ไบ›๏ผŒไธบ
ไธคๅ€็š„ฮทๆ—ถ๏ผŒๅณๅฝ“ฮท = 1ๆ—ถ๏ผŒฮธๅฐฑไผšๅœจ+2ๅ’Œโˆ’2ไธค่€…ไน‹้—ดๅ˜ๆข่€Œไธไผš่ฟ›ๅ…ฅๅˆซ็š„ไฝ็ฝฎ๏ผŒ
ๅฆ‚ๅ›พ7-8 c)ๆ‰€็คบใ€‚ๅฝ“ๅญฆไน ็Ž‡ๅคงไบŽไธคๅ€็š„ๆœ€ไผ˜ๅญฆไน ็Ž‡๏ผŒไพ‹ๅฆ‚ฮท = 1.5๏ผŒ้‚ฃไนˆฮธๅฐฑไผšๆฒฟ
็€2 โ†’ โˆ’4 โ†’ 8 โ†’ โˆ’16็š„่ฝจ่ฟน็งปๅŠจ๏ผŒๆญคๆ—ถๅ‡†ๅˆ™ๅ‡ฝๆ•ฐไพฟๅ‘ๆ•ฃ๏ผŒ่ฟ™ไธช่ฟ‡็จ‹ๅฆ‚ๅ›พ7-8 d)ๆ‰€
็คบใ€‚
a) ฮท = 0.5 b) ฮท = 0.7
c) ฮท = 1 d) ฮท = 1.5
ๅ›พ 7-8 ไธๅŒ็š„ๅญฆไน ็Ž‡ๅฏนๆ”ถๆ•›็š„ๅฝฑๅ“
ไฝ†ๆ˜ฏ่พƒๅคง็š„ๅญฆไน ็Ž‡ๅนถไธๆ„ๅ‘ณ็€ไธ€ๆ— ๆ˜ฏๅค„๏ผŒๅญฆไน ็Ž‡็จๅพฎๅคงไธ€ไบ›๏ผŒๅฏไปฅๅŠ ๅฟซๆ”ถๆ•›
้€Ÿๅบฆ๏ผŒ่€Œไธ”ๅฏไปฅ่ถŠ่ฟ‡ไธ€ไบ›ๅฑ€้ƒจๆžๅฐๅ€ผ๏ผˆไฝ†ๆ˜ฏๅฏนไบŽ้ซ˜ๅฐ”ๅคซ็ƒๅœบๅฝข็Šถ็š„ๅฑ€้ƒจๆžๅฐๅ€ผๆ— 
่ƒฝไธบๅŠ›๏ผ‰ใ€‚ๅœจๅทฅ็จ‹ไธญ๏ผŒๅญฆไน ็Ž‡็š„้€‰ๅ–ๆˆ‘ไปฌ็š„ๅปบ่ฎฎๆ˜ฏ๏ผŒๅ…ˆๅฐ†ๅญฆไน ็Ž‡ๅˆๅง‹ๅŒ–ไธบไธ€ไธช่พƒๅคง
็š„ๆ•ฐๅ€ผ๏ผŒๅฆ‚ๆžœๅ‡†ๅˆ™ๅ‡ฝๆ•ฐๅ‘ๆ•ฃไบ†๏ผŒ้‚ฃไนˆๆˆ‘ไปฌๅฐฑๅฐ†ๅ…ถ็ผฉๅฐ2ๅ€๏ผŒ็›ดๅˆฐๅ‡†ไพงๅ‡ฝๆ•ฐ่ƒฝๅผ€ๅง‹ไธ‹
้™ไธบๆญขใ€‚ๅฆๅค–ไธ€็งๅšๆณ•ๆ˜ฏ๏ผŒๅ…ˆๅˆๆญฅ่ฎก็ฎ—ๆขฏๅบฆ็š„ๆ•ฐๅ€ผๅคงๅฐ๏ผŒๅฐ†ๅญฆไน ็Ž‡่ฎพๅฎšไธบไธ€ไธชๆฏ”
ๆขฏๅบฆๅฐ3ไธชๆ•ฐ้‡็บง็š„ๅธธๆ•ฐ๏ผŒไพ‹ๅฆ‚๏ผŒๆˆ‘ไปฌไธŠ้ข็š„่ฎก็ฎ—ๅพ—ๅˆฐ็š„ๆขฏๅบฆๆ˜ฏ4๏ผŒ้‚ฃไนˆๅญฆไน ็Ž‡ๅฏ
ไปฅ่ฎพๅฎšไธบ0.001ใ€‚
- 76 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ไบ‹ๅฎžไธŠๅญฆไน ็Ž‡ๅ›บๅฎšไธบไธ€ไธชๅธธๆ•ฐๅนถไธๆ˜ฏไธ€ไธช่พƒๅฅฝ็š„็ญ–็•ฅ๏ผŒๅ› ไธบๅˆๅง‹ๆ—ถ่ฎพๅฎš็š„ๅญฆ
ไน ็Ž‡็›ธๅฏนไบŽ่ฎญ็ปƒ็š„ๅŽๆœŸ่€Œ่จ€ๆ˜ฏ่ฟ‡ๅคง็š„๏ผŒ่ฟ™ๅฐ†ไผšๅฏผ่‡ดๅ‡†ๅˆ™ๅ‡ฝๆ•ฐๅœจๆžๅฐๅ€ผ้™„่ฟ‘้œ‡่กใ€‚
ไธ€็ง่งฃๅ†ณๆ–นๆณ•ๆ˜ฏๅฐ†ๅญฆไน ็Ž‡ไนŸ่ฎพๅฎšไธบไธ€ไธชๅญฆไน ๅ‚ๆ•ฐ๏ผŒ่ฟ™ไธชๅ‚ๆ•ฐ้š็€็ฝ‘็ปœ็š„่ฎญ็ปƒ่€Œไธ
ๆ–ญๅœฐๆ›ดๆ–ฐ๏ผŒๅฆๅค–ไธ€็ง่™ฝ็„ถๆ„š่ ขไฝ†่กŒไน‹ๆœ‰ๆ•ˆ็š„ๆ–นๆณ•ๆ˜ฏ๏ผŒไธๆ–ญๅœฐๅ…ณๆณจๅ‡†ๅˆ™ๅ‡ฝๆ•ฐ็š„ไธ‹้™
ๆƒ…ๅ†ต๏ผŒไธ€ๆ—ฆๆ„Ÿ่ง‰ไธ‹้™ๅผ€ๅง‹ๅ‡บ็Žฐ้œ‡่กๆˆ–ๅนณ่ฐท็Žฐ่ฑกๅฐฑๅฐ†ๅญฆไน ็Ž‡่ฐƒๅฐ1ไธชๆ•ฐ้‡็บงใ€‚
7.2.2 ๅŠจ้‡้กน
ๅพˆๅคšๆ—ถๅ€™๏ผŒๅœจๅ‚ๆ•ฐๆ กๆญฃ็š„่ฟ‡็จ‹ไธญ๏ผŒไป…ไป…ไฝฟ็”จๅญฆไน ็Ž‡ๆ˜ฏไธ่กŒ็š„๏ผŒไธ€่ˆฌ่ฟ˜ๅบ”ไฝฟ็”จ
ๅŠจ้‡้กนใ€‚ๅŠจ้‡้กน๏ผŒๅณๅœจๅ‚ๆ•ฐ็š„ๆ›ดๆ–ฐ่ฟ‡็จ‹ไธญ๏ผŒๅผ•ๅ…ฅไธ€ไธชๅŠจ้‡ๅ› ๅญ๏ผŒๆ›ดๆ–ฐ่ง„ๅˆ™ๆ่ฟฐไธบ
ฮธ
t+1
= ฮธ
t
โˆ’ ฮท(1 โˆ’ p)
โˆ‚J(ฮธ)
โˆ‚ฮธ
t
โˆ’ p โˆ— (ฮธ
tโˆ’1
โˆ’ ฮธ
tโˆ’2
) (7-28)
ๅผไธญ๏ผŒt ไปฃ่กจ็ฌฌtๆฌกๅ‚ๆ•ฐๆ›ดๆ–ฐ๏ผŒฮทไธบๅญฆไน ็Ž‡๏ผŒ pไธบๅŠจ้‡้กนๅ› ๅญ๏ผŒ่ฟ™ไธชๅ› ๅญไธ€่ˆฌ้€‰ๅ–
ไธบp = 0.9ใ€‚ๅผ(7-28)ๅฎž้™…ไธŠ่ฎฒ่ฟฐไบ†่ฟ™ๆ ทไธ€ไปถไบ‹๏ผšๅ‚ๆ•ฐๆ›ดๆ–ฐ็š„ๆ—ถๅ€™๏ผŒๅขž้‡ไธไป…ไป…ไพ่ต–
ไบŽๅฝ“ๅ‰็š„ๆขฏๅบฆ๏ผŒ่ฟ˜ไพ่ต–ไบŽไธŠไธ€ๆฌกๆƒๅ€ผๅ˜ๅŒ–้‡็š„pๅ€๏ผŒๅ› ๆญคๅ‚ๆ•ฐ็š„ๆ›ดๆ–ฐ๏ผŒๅธฆ็€็ฑปไผผไบŽ
็‰ฉ็†ไธญๅŠจ้‡็š„้กน๏ผŒๅณp โˆ— (ฮธ
tโˆ’1
โˆ’ ฮธ
tโˆ’2
)๏ผŒๅฎƒไนŸ่ขซ็งฐไน‹ไธบๅŠจ้‡้กนใ€‚ๅŠจ้‡้กนๅฏไปฅไฝฟๅพ—ๅ‡†ๅˆ™
ๅ‡ฝๆ•ฐๅฟซ้€Ÿๅœฐไธ‹้™๏ผŒๅนถไธ”ๅฏไปฅ่ถŠ่ฟ‡ไธ€ไบ›่พƒไธบๅนณๅฆ็š„ๅฑ€้ƒจๆžๅ€ผใ€‚ๅฆ‚ๆžœ่ฏป่€…ๆœ‰ๆ•ฐๅญ—ไฟกๅท
ๅค„็†็š„่ƒŒๆ™ฏ๏ผŒๅผ(7-28)ๅฎž้™…ไธŠๆ˜ฏไธ€ไธช่„‰ๅ†ฒๅ“ๅบ”ไฝŽ้€šๆปคๆณขๅ™จ๏ผŒ็›ฎ็š„ๅœจไบŽๅนณๆป‘ๅ‚ๆ•ฐ็š„ๆ›ด
ๆ–ฐ่ฟ‡็จ‹
[3]
ใ€‚
ไฝ†็”ฑไบŽ(7-28)้œ€่ฆ่ฎฐๅฝ•ไธŠไธ€ๆฌก็š„ๅ‚ๆ•ฐๅขž้‡๏ผŒ่ฟ™ๅœจๅฎž้™…็ผ–็ ไธญ้œ€่ฆไธ€ๅฎš็š„ๅ†…ๅญ˜๏ผŒ
่€Œไธ”ๅฎž็Žฐ่ตทๆฅไนŸไธๆ–นไพฟ๏ผŒๅฆๅค–ไธ€็งๅ…ณไบŽๅŠจ้‡้กน็š„็ฎ€ๅ•็”จๆณ•ๆ˜ฏ
ฮธ
t+1
= pฮธ
t
โˆ’ ฮท
โˆ‚J(ฮธ)
โˆ‚ฮธ
t
(7-29)
ๅผไธญ๏ผŒpไธบๅŠจ้‡้กน็ณปๆ•ฐ๏ผŒไธ€่ˆฌๅ–0.9ใ€‚ๅŠจ้‡้กน็š„ไฝฟ็”จ๏ผŒ็กฎๅฎžๅฏไปฅๅœจไธ€ๅฎš็จ‹ๅบฆไธŠ้ฟๅ…
ๅฑ€้ƒจๆœ€ไผ˜่งฃ๏ผŒไพ‹ๅฆ‚๏ผŒๅ‡่ฎพๅ‡†ๅˆ™ๅ‡ฝๆ•ฐไธบ
J(ฮธ) = โˆ’5ฮธ
3
โˆ’ 80ฮธ
2
โˆ’ 400ฮธ โˆ’ 700 (7-30)
ๆˆ‘ไปฌๅฏไปฅๅพˆๅฎนๆ˜“ๅœฐ่ฎก็ฎ—ๅ‡†ๅˆ™ๅ‡ฝๆ•ฐๅœจไปปๆ„ไธ€็‚น็š„ๆขฏๅบฆไธบ
โˆ‚J(ฮธ)
โˆ‚ฮธ
= โˆ’15ฮธ
2
โˆ’ 160ฮธ โˆ’ 400 (7-31)
ๅ‡่ฎพๅญฆไน ็Ž‡่ฎพ็ฝฎไธบๅธธๆ•ฐ0.001๏ผŒๅฆ‚ๆžœไธ้‡‡็”จๅŠจ้‡้กน๏ผŒๅณๅ‚ๆ•ฐๆ›ดๆ–ฐ็š„่ง„ๅพ‹ไธบ
ฮธ = ฮธ โˆ’ 0.001
โˆ‚J(ฮธ)
โˆ‚ฮธ
(7-32)
้‚ฃไนˆๅ‡†ๅˆ™ๅ‡ฝๆ•ฐ็š„ๆ”ถๆ•›่ฟ‡็จ‹ๅฆ‚ๅ›พ7-9 a)ๆ‰€็คบ๏ผŒๆˆ‘ไปฌๅฏไปฅ็œ‹ๅˆฐ๏ผŒๅœจๆ”ถๆ•›็š„ๅŽๅŠ้˜ถๆฎต๏ผŒๅ‚
ๆ•ฐฮธไผšๆ”ถๆ•›ๅˆฐๅฑ€้ƒจๆžๅ€ผ๏ผŒไฝ†ๅฆ‚ๆžœๆˆ‘ไปฌไฝฟ็”จไธ€ไธช็ณปๆ•ฐไธบ0.9็š„ๅŠจ้‡้กน๏ผŒๅณๅ‚ๆ•ฐๆ›ดๆ–ฐ่ง„
ๅˆ™ไธบ
- 77 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ฮธ = 0.9 โˆ— ฮธ โˆ’ 0.001
โˆ‚J(ฮธ)
โˆ‚ฮธ
(7-33)
ๆญคๆ—ถ็š„ๅ‡†ๅˆ™ๅ‡ฝๆ•ฐๆ”ถๆ•›่ฟ‡็จ‹ๅฆ‚ๅ›พ7-9 b)ๆ‰€็คบ๏ผŒๆˆ‘ไปฌๅฏไปฅ็œ‹ๅˆฐ๏ผŒๅŠจ้‡้กน็š„ๅผ•ๅ…ฅ๏ผŒไฝฟๅพ—ๅ‚
ๆ•ฐฮธๅœจๅนณๅฆ็š„ๅฑ€้ƒจๆžๅ€ผๅŒบๅŸŸๅ†…ไพ็„ถๅธฆๆœ‰ๅ†ฒๅŠฒ๏ผŒ่ฟ™ไธชๆ€ง่ดจไฝฟๅพ—ๅฎƒๅฏไปฅ่ทจ่ถŠไธ€ไบ›่พƒๅฐ็š„
ๅฑ€้ƒจๆžๅ€ผ่€Œไธ่‡ณไบŽ้™ทๅ…ฅๅ…ถไธญใ€‚
a) ไธไฝฟ็”จๅŠจ้‡้กน b) ไฝฟ็”จ็ณปๆ•ฐไธบ0.9็š„ๅŠจ้‡้กน
ๅ›พ 7-9 ๅŠจ้‡้กนๅฏนๆ”ถๆ•›็š„ๅฝฑๅ“
7.2.3 ๆƒ่กฐๅ‡
่ฐ“ๆƒ่กฐๅ‡๏ผŒๅณๅœจๆƒๅ€ผๆ›ดๆ–ฐๅฎŒๆฏ•ๅŽๅฏนๆ‰€ๆœ‰็š„ๆƒๅ€ผไน˜ไปฅไธ€ไธชๅฐไบŽ1็š„ๅธธๆ•ฐe๏ผŒeไธ€
่ˆฌๅ–0.999ๅทฆๅณใ€‚ไน‹ๆ‰€ไปฅ่ฆ่ฟ™ๆ ทๅš็š„ๅŽŸๅ› ๏ผŒๆ˜ฏๅ› ไธบๆˆ‘ไปฌๅธŒๆœ›ๆƒๅ€ผไฟๆŒๅœจ่พƒๅฐ็š„่Œƒๅ›ด
ๅ†…๏ผŒๅ› ไธบๆ›ดๅฐ็š„ๆƒๅ€ผไฝฟๅพ—ๅ‡€ๆฟ€ๆดปๅœ็•™ๅœจๆฟ€ๆดปๅ‡ฝๆ•ฐ็š„้ž้ฅฑๅ’ŒๅŒบๅŸŸๅ†…ใ€‚ไฝฟ็”จๆƒ่กฐๅ‡็š„
ๅ‚ๆ•ฐๆ›ดๆ–ฐ่ง„ๅˆ™ไธบ
ฮธ = e โˆ— ฮธ (7-34)
ๅ…ณไบŽๆƒ่กฐๅ‡็š„ๅฆไธ€็ง่งฃ้‡Šๆ˜ฏ๏ผŒๅœจๅ‡†ๅˆ™ๅ‡ฝๆ•ฐไธญ๏ผŒๆˆ‘ไปฌๅŠ ๅ…ฅไธ€ไธชไบŒ่Œƒๆ•ฐๆƒฉ็ฝš๏ผŒๅณๆ–ฐ็š„
ๅ‡†ๅˆ™ๅ‡ฝๆ•ฐๅฎšไน‰ไธบ
J
new
(ฮธ) = J(ฮธ) +
ฮป
2
ฮธ
T
ฮธ (7-35)
(7-35)ไธญ็š„็ฌฌไบŒ้กนไนŸ่ขซ็งฐไธบๆญฃๅˆ™้กนใ€‚ๅฆ‚ๆžœๆˆ‘ไปฌๅฏนๅผ(7-35)ๆฑ‚ๅฏผ๏ผŒๅˆ™ไธบ
โˆ‚J
new
(ฮธ)
โˆ‚ฮธ
=
โˆ‚J(ฮธ)
โˆ‚ฮธ
+ ฮปฮธ (7-36)
ๅ› ๆญคๆƒๅ€ผ็š„ๆ›ดๆ–ฐ่ง„ๅˆ™ไธบ
ฮธ = ฮธ โˆ’
โˆ‚J
new
(ฮธ)
โˆ‚ฮธ
=
๎€’
ฮธ โˆ’
โˆ‚J(ฮธ)
โˆ‚ฮธ
๎€“
โˆ’ ฮปฮธ (7-37)
่ฟ™ไบ‹ๅฎžไธŠ็ญ‰ไปทไบŽๆ˜ฏๅผ7-34๏ผŒๅณๅœจๆƒๅ€ผๆ›ดๆ–ฐๅŽไน˜ไธŠไธ€ไธช่กฐๅ‡็ณปๆ•ฐใ€‚ๆˆ‘ไปฌไน‹ๆ‰€ไปฅ
ไฝฟ็”จๆƒ่กฐๅ‡๏ผŒๆˆ–่€…่ฏดๅŠ ๅ…ฅไบŒ่Œƒๆ•ฐๆญฃๅˆ™๏ผˆ่ฟ™ไธคไธชๅ‘ฝ้ข˜็ญ‰ไปท๏ผ‰๏ผŒๅฎž้™…ไธŠๅฎƒไปฃ่กจ็€ไธ€็ง่ด
- 78 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ๅถๆ–ฏๅ…ˆ้ชŒ๏ผŒๅณๆˆ‘ไปฌๅฏนไบŽๆƒๅ€ผ็š„ๆœŸๅพ…๏ผˆๅธŒๆœ›ๅฎƒๆ˜ฏ่พƒๅฐ็š„ๅ€ผ๏ผ‰ใ€‚
้œ€่ฆๆณจๆ„็š„ๆ˜ฏ๏ผŒๅœจ็ฅž็ป็ฝ‘็ปœไธญ๏ผŒๆˆ‘ไปฌไธ€่ˆฌๅช้’ˆๅฏนๆƒๅ€ผ่ฟ›่กŒๆƒ่กฐๅ‡๏ผŒ่€Œไธ้’ˆๅฏน
ๅ็ฝฎ่ฟ›่กŒๆƒ่กฐๅ‡๏ผŒๅ› ไธบๆˆ‘ไปฌๅธŒๆœ›่Žทๅพ—่พƒๅคง็š„ๅ็ฝฎใ€‚่‡ณไบŽไธบไป€ไนˆ๏ผŒ่ฟ™ๅฎž้™…ไธŠๅนถๆฒกๆœ‰
ไธบไป€ไนˆใ€‚
7.3 ็ผ–็ ๆŠ€ๅทง
ๅฐฝ็ฎกๆˆ‘ไปฌ่ฎจ่ฎบไบ†ๅคง้‡็š„็†่ฎบๅ†…ๅฎน๏ผŒ่ฟ™ไบ›็†่ฎบๅ†…ๅฎนๅ…ทไฝ“ๅฎž็Žฐๅœจไปฃ็ ไธŠๅนถไธๆ˜ฏไธ€
ไปถ็ฎ€ๅ•็š„ไบ‹ใ€‚ไปฃ็ ๅฆ‚ไฝ•่ฎพ่ฎกไปฅๅŠๅฆ‚ไฝ•ๆต‹่ฏ•ๆ˜ฏๆˆ‘ไปฌ้‡ๅˆฐ็š„ๆœ€ๅคง้—ฎ้ข˜ใ€‚ไธŽไผ ็ปŸ็š„่ฝฏไปถ
ๅทฅ็จ‹ๆ‰€ไธๅŒ็š„ๆ˜ฏ๏ผŒๆœบๅ™จๅญฆไน ไธญ็š„ๆต‹่ฏ•ๆ— ๆณ•ไฝฟ็”จๅ•ๅ…ƒๆต‹่ฏ•๏ผŒๅ› ไธบๅœจๅ•ๅ…ƒๆต‹่ฏ•ไธญๆˆ‘ไปฌ
้œ€่ฆ็Ÿฅ้“ไปฃ็ ็š„ๆœŸๆœ›่พ“ๅ‡บ๏ผŒๆœบๅ™จๅญฆไน ่‡ชๅญฆไน ็š„็‰น็‚นๆณจๅฎšไบ†ๆˆ‘ไปฌๆ— ๆณ•็Ÿฅ้“ๅ…ถๆญฃ็กฎ่พ“
ๅ‡บๆ˜ฏไป€ไนˆใ€‚ไปฃ็ ็š„ๆต‹่ฏ•๏ผŒๆ›ดๅคšๆ—ถๅ€™ๆ˜ฏๅ‡ญๆ„Ÿ่ง‰๏ผŒๅฐฝ็ฎกๅฆ‚ๆญค๏ผŒๆˆ‘ไปฌ่ฟ˜ๆ˜ฏๆœ‰ๅŠžๆณ•่ฟ›่กŒไธ€
ไบ›็ฎ€ๅ•ๆต‹่ฏ•็š„๏ผŒๅœจๆœฌๅฐ่Š‚ไธญ๏ผŒๆˆ‘ไปฌๅฐ†ไผšไป‹็ป้ขๅ‘ๅฏน่ฑก็š„่ฎพ่ฎกๆ€่ทฏไปฅๅŠ็”จไบŽๆต‹่ฏ•็š„
ๆขฏๅบฆๆ ก้ชŒใ€‚
7.3.1 ้ขๅ‘ๅฏน่ฑกๆŠ€ๆœฏ
็ฅž็ป็ฝ‘็ปœ็š„่ฎพ่ฎกไธญ๏ผŒไธๅŒๅฑ‚ๅฏไปฅ้‡‡็”จไธๅŒ็š„ๆฟ€ๆดปๅ‡ฝๆ•ฐ๏ผŒไนŸๅฏไปฅ้‡‡็”จไธๅŒ็š„็ฝ‘
็ปœ็ป“ๆž„๏ผŒไพ‹ๅฆ‚ๅท็งฏๅฑ‚ๆˆ–ๅ…จ่ฟžๆŽฅๅฑ‚ใ€‚่ฟ™ไบ›ไธๅŒๅฑ‚ไน‹้—ด้ƒฝๆœ‰ไธคไธชๅ…ฑๅŒ็š„็‰นๆ€งใ€‚ๅœจๅ‰ๅ‘
ไผ ๆ’ญ่ฟ‡็จ‹ไธญ๏ผŒๆ— ่ฎบๆ˜ฏไป€ไนˆๅฝขๅผ็š„ๅฑ‚้ƒฝๆŽฅๆ”ถๅ‰ไธ€ๅฑ‚ไผ ๆ’ญ็š„ๆฟ€ๆดป๏ผŒ่€Œๅœจๅๅ‘ไผ ๆ’ญ่ฟ‡็จ‹
ไธญ๏ผŒๆ‰€ๆœ‰็š„ๅฑ‚้ƒฝๆŽฅๆ”ถๅŽไธ€ๅฑ‚ไผ ๆ’ญๅ›žๆฅ็š„่ฏฏๅทฎ๏ผŒๅนถๅˆฉ็”จ่ฏฅๅฑ‚็š„่พ“ๅ…ฅไธŽ่พ“ๅ‡บๅฏนๅ‚ๆ•ฐ่ฟ›
่กŒๆ กๆญฃใ€‚ๅฐฝ็ฎกไธๅŒ็ป“ๆž„็š„็ฝ‘็ปœๅฑ‚ๅ…ถๆ กๆญฃๆ–นๅผไธๅŒ๏ผŒไฝ†่ฟ™ไธช่ฟ‡็จ‹ๅฏไปฅไฝฟ็”จ้ขๅ‘ๅฏน่ฑก
็š„ๆŠ€ๆœฏๅฎž็Žฐใ€‚ไธบไบ†ๆ–นไพฟ่ฎจ่ฎบ๏ผŒๆˆ‘ไปฌๅฐ†็”จJAVA็š„่ฏญๆณ•ๆฅๆ่ฟฐ่ฟ™ไธช่ฟ‡็จ‹
3
ใ€‚ๆˆ‘ไปฌๅฎšไน‰ไธ€
ไธชๆŽฅๅฃLayer๏ผŒๅฎƒๅซๆœ‰ไธคไธชๆ–นๆณ•๏ผŒๅณfpropๅ’Œbprop๏ผŒๅˆ†ๅˆซๅฏนๅบ”็€ๅ‰ๅ‘ไผ ๆ’ญๅ’Œๅๅ‘ไผ 
ๆ’ญใ€‚fpropๆŽฅๆ”ถไธ€ไธชๅ‚ๆ•ฐ๏ผŒๅณๅ‰ๅ‘ไผ ๆ’ญๅพ—ๅˆฐ็š„่พ“ๅ…ฅๆ•ฐๆฎ๏ผŒbpropๆŽฅๆ”ถไธ‰ไธชๅ‚ๆ•ฐ๏ผŒๅˆ†ๅˆซ
ๆ˜ฏๅๅ‘ไผ ๆ’ญๅ›žๆฅ็š„่ฏฏๅทฎใ€่ฏฅๅฑ‚็š„่พ“ๅ…ฅไปฅๅŠ่ฏฅๅฑ‚็š„่พ“ๅ‡บ๏ผŒไบ‹ๅฎžไธŠ๏ผŒbpropไนŸๅฏไปฅ่ฎพๅฎš
ไธบๅชๆŽฅๆ”ถไธ€ไธชๅ‚ๆ•ฐ๏ผŒๅณๅๅ‘ไผ ๆ’ญๅ›žๆฅ็š„่ฏฏๅทฎ๏ผŒ่€Œ่ฏฅๅฑ‚็š„่พ“ๅ…ฅไปฅๅŠ่ฏฅๅฑ‚็š„่พ“ๅ‡บ่ฎพๅฎš
ไธบๆˆๅ‘˜ๅ˜้‡ใ€‚ๅ…ทไฝ“็š„็ฝ‘็ปœ็ป“ๆž„๏ผŒไพ‹ๅฆ‚ConvlutionLayerใ€FullConnectLayer็ญ‰ๅฎž็Žฐ่ฟ™
ไธชๆŽฅๅฃ๏ผŒๅนถๅฎž็Žฐ่ฟ™ไธชๆŽฅๅฃไธญ็š„ไธคไธชๆ–นๆณ•๏ผŒๅˆฉ็”จๅคšๆ€ๆ€ง๏ผŒๅฐฑๅฏไปฅๅฎนๆ˜“ๅœฐๅฎž็ŽฐไธๅŒๅฑ‚
ๆ‰ง่กŒไธๅŒ็š„ๆ›ดๆ–ฐๆ–นๆณ•ใ€‚ๅฆ‚ๆžœ็ฝ‘็ปœ็š„ๆ‰€ๆœ‰ๅฑ‚้ƒฝ้‡‡็”จๅŒไธ€ไธชๆฟ€ๆดปๅ‡ฝๆ•ฐ๏ผŒ้‚ฃไนˆ่ฟ™ไธชๆฟ€ๆดป
ๅ‡ฝๆ•ฐๅฏไปฅ็›ดๆŽฅๅ†™ๅˆฐๆŽฅๅฃไธญ๏ผˆๅฐฝ็ฎกJAVA่ฆJDK9ไธญๆ‰่ƒฝๅœจๆŽฅๅฃไธญๆไพ›ๆ–นๆณ•็š„ๅฎž็Žฐ๏ผŒไฝ†
ๆˆ‘ไปฌๅฏไปฅๅˆฉ็”จ็ปงๆ‰ฟ่ฎฉๅ…ทไฝ“็š„ๅฑ‚็ปงๆ‰ฟๅฆไธ€ไธช็ฑป๏ผ‰ใ€‚ๅฆ‚ๆžœ็ฝ‘็ปœ็š„ๆ‰€ๆœ‰ๅฑ‚้‡‡็”จ็š„ๆ˜ฏไธๅŒ็š„
ๆฟ€ๆดปๅ‡ฝๆ•ฐ๏ผŒ้‚ฃไนˆๆˆ‘ไปฌๅฏไปฅ้€š่ฟ‡็ญ–็•ฅๆจกๅผๅฐ†ๆฟ€ๆดปๅ‡ฝๆ•ฐๆŠฝ่ฑกๆˆไธ€ไธชๆŽฅๅฃ๏ผŒๅ…ทไฝ“็š„ๆฟ€ๆดป
3
็„ถ่€ŒJAVAๅนถไธๆ˜ฏไธ€้—จ้€‚ๅˆๆ•ฐๅ€ผ่ฟ็ฎ—็š„่ฏญ่จ€
- 79 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ๅ‡ฝๆ•ฐๅฎž็Žฐ่ฟ™ไธชๆŽฅๅฃ๏ผŒๅœจๅ…ทไฝ“็ฝ‘็ปœๅฑ‚ๅฎž็Žฐ็ฑป็š„ๆž„้€ ๆ–นๆณ•ไธญ้€š่ฟ‡ไพ่ต–ๆณจๅ…ฅๅฐ†ๅ…ทไฝ“็š„ๆฟ€
ๆดปๅ‡ฝๆ•ฐๅฎž็Žฐๆณจๅ…ฅๅˆฐ็ฝ‘็ปœๅฑ‚็š„็ฑปไธญ๏ผŒๅˆฉ็”จๅคšๆ€ๆ€ง๏ผŒๅฏไปฅ่ฎฉไธๅŒ็š„ๅฑ‚ๆ‰ง่กŒไธๅŒ็š„ๆฟ€ๆดป
ๅ‡ฝๆ•ฐ๏ผŒ่€Œ่ฟ™ไบ›ไธๅŒ็š„ๆฟ€ๆดปๅ‡ฝๆ•ฐๅˆๅฏไปฅๅฎž็Žฐไปฃ็ ๅค็”จใ€‚ๆœ€ๅŽๅฐ†่ฟ™ไบ›ไธๅŒ็š„็ฝ‘็ปœๅฑ‚็ป„
ๅˆๅˆฐไธ€ไธช็ฅž็ป็ฝ‘็ปœๅฎž็Žฐ็ฑปไธญ๏ผŒไพ‹ๅฆ‚CNNๆˆ–DBN๏ผŒๅณๅฏๅฎŒๆˆๆ•ดไธช็ฝ‘็ปœ็š„็ผ–็ ๅทฅไฝœ๏ผŒ
ๆ•ดไธชๅทฅ็จ‹ไปฃ็ ็š„UMLๅ›พๅฆ‚ๅ›พ7-10ๆ‰€็คบใ€‚
ๅ›พ 7-10 ็ฅž็ป็ฝ‘็ปœ็ฑปๅ›พ่ฎพ่ฎก
7.3.2 ๆขฏๅบฆๆ ก้ชŒ
ๅœจ็ฅž็ป็ฝ‘็ปœ็š„็ผ–็ ไธญ๏ผŒไธ€ไธชไปคไบบๅคด็–ผ็š„้—ฎ้ข˜ๆ˜ฏๅๅ‘ไผ ๆ’ญๆ˜ฏๅฆๅทฒ็ป่ขซๆญฃ็กฎ็ผ–
็ ใ€‚ๅพˆๅคšๆ—ถๅ€™๏ผŒ้”™่ฏฏ็š„็ผ–็ ๅนถไธไผšๅฏผ่‡ดไธฅ้‡็š„้”™่ฏฏ๏ผŒไฝ†ๅฎƒไผšๅฝฑๅ“ๆœ€็ปˆ็š„ๅˆ†็ฑปๆ•ˆๆžœใ€‚
ๅœจdebug่ฟ‡็จ‹ไธญ๏ผŒไธ€ไธชๅๅˆ†ๆœ‰ๆ•ˆ็š„็”จๆฅๆฃ€ๆต‹็ผ–็ ๆ˜ฏๅฆๆญฃ็กฎ็š„ๆ–นๆณ•ๆ˜ฏๆขฏๅบฆๆ ก้ชŒใ€‚ๅ‡่ฎพ
ๆˆ‘ไปฌ่ฆไผ˜ๅŒ–ไปฅฮธไธบๅ‚ๆ•ฐ็š„ๅ‡†ๅˆ™ๅ‡ฝๆ•ฐ๏ผŒๅœจๆขฏๅบฆไธ‹้™ไธญ๏ผŒๆˆ‘ไปฌ็š„ๆ›ดๆ–ฐ่ง„ๅˆ™ๅฆ‚ๅผ(7-25)ๆ‰€
็คบใ€‚ๅ‡่ฎพๆˆ‘ไปฌ้€š่ฟ‡็ฎ—ๆณ•่ฎก็ฎ—ๅพ—ๅˆฐๅ‡†ๅˆ™ๅ‡ฝๆ•ฐ็›ธๅฏนไบŽๅ‚ๆ•ฐ็š„ๆขฏๅบฆ๏ผŒไพ‹ๅฆ‚๏ผŒๅœจๅ…จ่ฟžๆŽฅ็ฅž
็ป็ฝ‘่ทฏไธญ๏ผŒ่ฟ™ไธชๆขฏๅบฆไธ€่ˆฌไธบ
โˆ‚J(ฮธ)
โˆ‚ฮธ
= ฮด ยท
โˆ‚ f (net)
โˆ‚net
โˆ‚net
ฮธ
(7-38)
ๅผ(7-38)ๆœฌ่ดจไธŠๆ˜ฏๅˆฉ็”จๅฏผๆ•ฐๅ…ฌๅผๅ–่ฎก็ฎ—ๆขฏๅบฆ๏ผŒๆญฃๅฆ‚ๆˆ‘ไปฌ่ฆ็ฎ—J(ฮธ) = ฮธ
2
็š„ๅฏผๆ•ฐ๏ผŒ้‚ฃไนˆ
ๆˆ‘ไปฌๅฏไปฅ้€š่ฟ‡ๅ…ถๅฏผๆ•ฐๅณJ
โ€ฒ
= 2ฮธ ็›ดๆŽฅ่ฎก็ฎ—ๅœจๆŸ็‚นๅค„็š„ๅฏผๆ•ฐ๏ผŒไฝ†ๆˆ‘ไปฌ่ฟ˜ๅฏไปฅ้€š่ฟ‡ๅฆไธ€
็งๆ–นๅผ่ฎก็ฎ—ๅฏผๆ•ฐใ€‚ๅ›žๆƒณ้ซ˜็ญ‰ๆ•ฐๅญฆไธญๅ…ณไบŽๅฏผๆ•ฐๆœ€ๅŽŸๅง‹็š„ๅฎšไน‰๏ผŒๅฏผๆ•ฐๅณๅขž้‡็š„ๆž้™๏ผŒ
ๅฎšไน‰ไธบ
โˆ‚J(ฮธ)
โˆ‚ฮธ
= lim
โˆ†ฮธโ†’0
J(ฮธ + โˆ†ฮธ) โˆ’ J(ฮธ)
โˆ†ฮธ
(7-39)
ไนŸๅฐฑๆ˜ฏ่ฏด๏ผŒๅฆ‚ๆžœๆˆ‘ไปฌ็ป™ๆŸไธชๅ‚ๆ•ฐฮธ
i
ๅŠ ไธŠไธ€ไธช้žๅธธๅฐ็š„ๅขž้‡โˆ†ฮธ๏ผŒๅ‡่ฎพไธบ0.001๏ผŒ้‚ฃไนˆ
ๅˆฉ็”จๅผ(7-39)็š„ๅŽŸ็†๏ผŒๆˆ‘ไปฌๅฏนๆฏ”ฮธ
i
ๆฒกๆœ‰ๅŠ ไธŠ่ฟ™ไธชๅขž้‡ไน‹ๅ‰ๅ‡†ๅˆ™J(ฮธ)็š„ๅ€ผไธŽๅŠ ไธŠๅขž้‡
- 80 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ไน‹ๅŽๅ‡†ๅˆ™็š„ๅ€ผ๏ผŒ่ฟ™ไธคไธชๅ€ผไฝœๅทฎ๏ผŒๅ†้™คไปฅๅขž้‡๏ผŒๅฐ†ไผšๅพ—ๅˆฐๅ‡†ๅˆ™ๅ‡ฝๆ•ฐ็›ธๅฏนไบŽฮธ
i
่ฟ™ไธชๅ˜
้‡็š„ๆขฏๅบฆใ€‚่ฟ™็งๆ–นๆณ•ๆฑ‚ๅพ—็š„ๆขฏๅบฆโˆ†
โˆ—
ฮธ
J(ฮธ)ไธŽๅˆฉ็”จๅผ(7-38)โˆ†
ฮธ
J(ฮธ)ๆปก่ถณๅฆ‚ไธ‹ๅ…ณ็ณป
โˆ†
โˆ—
ฮธ
J(ฮธ) โ‰ˆ โˆ†
ฮธ
J(ฮธ) (7-40)
ๅฆ‚ๆžœโˆ†ฮธๅ–ๅพ—่ถณๅคŸๅฐ๏ผŒ้‚ฃไนˆ่ฟ™ไธค่€…่ฟ‘ไผผ็จ‹ๅบฆ้žๅธธ้ซ˜๏ผŒไฝ†ๆ˜ฏๅฎž้™…็ผ–็ ไธญโˆ†ฮธไธๅบ”ๅ–
ๅพ—่ฟ‡ๅฐ๏ผŒๅ› ไธบ่ฎก็ฎ—ๆœบ็š„ๆตฎ็‚น่ฟ็ฎ—ไผšๅธฆๆฅ่ฏฏๅทฎ๏ผŒไธ€่ˆฌ่€Œ่จ€๏ผŒโˆ†ฮธๅ–0.001ๅทฆๅณๅฐฑ่ถณไปฅ็”จ
ๆฅ้ชŒ่ฏๆขฏๅบฆไบ†ใ€‚ๅฆๅค–้œ€่ฆๆณจๆ„็š„ๆ˜ฏ๏ผŒ่ฟ™็ง่ฟ‘ไผผๆ€งๅชไผšๅœจ่พƒๆทฑ็š„ๅฑ‚ไธญๅ‘็”Ÿ๏ผŒๅœจ่พƒๆต…
็š„ๅฑ‚ไธญ่ฏฏๅทฎไผš่พƒๅคง๏ผŒๅ› ไธบๅๅ‘ไผ ๆ’ญๆ˜ฏ่ดชๅฉช็š„๏ผŒๆ‰€ไปฅ้š็€่ฏฏๅทฎ่ถŠไผ ่ถŠ่ฟœ๏ผŒๆขฏๅบฆ็š„ๅ
็ฆปไนŸไผš่ถŠๅคงใ€‚ๅˆฉ็”จๆขฏๅบฆๆ ก้ชŒๅœจๅฏไปฅๆ–นไพฟๆฃ€้ชŒไปฃ็ ๆญฃ็กฎๆ€ง็š„ๅŒๆ—ถ๏ผŒ่ฟ˜ๅฏไปฅๅœจๆขฏๅบฆๆ ก
้ชŒ็š„่ฟ‡็จ‹ๆ€ปๅ‘็Žฐ๏ผŒๅฆ‚ๆžœๆฟ€ๆดปๅ‡ฝๆ•ฐๆ˜ฏSigmoidๅ‡ฝๆ•ฐ๏ผŒ่€Œ็ฝ‘็ปœๆœ‰ๆ˜ฏๆทฑๅบฆ็ฝ‘็ปœ๏ผŒ้‚ฃไนˆไธ็ป
่ฟ‡้ข„่ฎญ็ปƒ็š„็ฝ‘็ปœไผšๅ‡บ็Žฐๆขฏๅบฆๆถˆๅคฑ็Žฐ่ฑกใ€‚
7.4 ๆœฌ็ซ ๅฐ็ป“
ๆœฌ็ซ ไธญๆˆ‘ไปฌ่ฎจ่ฎบไบ†็ฅž็ป็ฝ‘็ปœ่ฎญ็ปƒ่ฟ‡็จ‹ไธญไธ€ไบ›ไผšไฝฟ็”จๅˆฐ็š„ๆŠ€ๅทง๏ผŒๆˆ‘ไปฌๅชไป‹็ปไบ†
ไธ€ไบ›้€š็”จ็š„ๆŠ€ๅทง๏ผŒๆ›ดๅคš็š„็‰นๆฎŠๆŠ€ๅทงๅฆ‚dropoutใ€maxout็ญ‰ๆˆ‘ไปฌๅนถๆฒกๆœ‰่ฎจ่ฎบ๏ผŒๆ›ดๅคš็š„
่ฎจ่ฎบๅฏๅ‚่€ƒๆ–‡็Œฎ[44]ๅ’Œ[45]ใ€‚ๆœฌ็ซ ไป‹็ป็š„ๆŠ€ๅทงไธญ๏ผŒ้™็ปด่‡ช่บซๅฐฑๆ˜ฏไธ€ไธชๅพˆๅคง็š„่ฏ้ข˜๏ผŒ
ๅนถไธไป…ไป…ไฝœไธบๆŠ€ๅทง่€Œๅญ˜ๅœจ๏ผŒๅฎƒๆ˜ฏๆœบๅ™จๅญฆไน ็š„ไธ€ไธชๅˆ†ๆ”ฏ๏ผŒๆˆ‘ไปฌๅชไป‹็ปไบ†ไธค็ง้™็ปดๆ–น
ๅผ๏ผŒๆ›ดๅคš็š„้™็ปดๆ–นๆณ•ๅฆ‚Isomapใ€ๅฑ€้ƒจ็บฟๆ€งๅตŒๅ…ฅใ€ๅŸบไบŽๆ ธ็š„ไธปๆˆๅˆ†ๅˆ†ๆž็ญ‰ๅฏๅ‚่€ƒๆ–‡
็Œฎ[46โ€“48]ใ€‚ๆœ€ๅŽ่ฟ˜้œ€่ฆ่ฏดๆ˜Žไธ€็‚น๏ผŒ็ฝ‘็ปœ็š„่ฎพ่ฎก่€…ไธๅบ”่ฟทไฟก่ฟ™ไบ›ๆŠ€ๅทง๏ผŒๅฎƒไปฌๅชๆ˜ฏ่ตท
ๅˆฐๆŒ‡ๅฏผไฝœ็”จ๏ผŒๅ…ทไฝ“ๆ˜ฏๅฆๅฏ่กŒ่ฆๅ…ทไฝ“ไปปๅŠกๅ…ทไฝ“ๅˆ†ๆžใ€‚
- 81 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
็ฌฌ 8 ็ซ  GPU่ฎก็ฎ—
ไธŠไธ–็บชๅ…ญๅๅนดไปฃๆๅ‡บ็š„ๆ‘ฉๅฐ”ๅฎšๅพ‹ๅˆฐ็›ฎๅ‰ไธบๆญขๅทฒ็ปๆŒ็ปญไบ†ๅŠไธชๅคšไธ–็บช๏ผŒ็ก…ๆŠ€ๆœฏ
ไผผไนŽๅทฒ็ป้šพไปฅๅ†ๆœ‰้‡ๅคง็ช็ ด๏ผŒๆ‘ฉๅฐ”ๅฎšๅพ‹ๅœจๆœชๆฅๅ‡ ๅนดๆˆ–ๅฐ†ๆˆไธบ่ฟ‡ๅŽปใ€‚็„ถ่€Œๅฝ“ๅ‰่ฎก็ฎ—
ๆœบ็š„่ฎก็ฎ—่ƒฝๅŠ›ไปไธ่ถณไปฅๆปก่ถณไบบไปฌ็š„้œ€ๆฑ‚๏ผŒๅนถ่กŒๆŠ€ๆœฏ็š„ๅ‘ๅฑ•ๅœจไธ€ๅฎš็จ‹ๅบฆไธŠ็ผ“่งฃไบ†่ฟ™
็งๅŽ‹ๅŠ›๏ผŒๆŸ็ง็จ‹ๅบฆไธŠ่€Œ่จ€๏ผŒ่ฎก็ฎ—ๅนถ่กŒๅŒ–ๅฏไปฅ็œ‹ๅšๆ˜ฏๆ‘ฉๅฐ”ๅฎšๅพ‹็š„ไธ€็งๅปถไผธใ€‚
GPU๏ผˆGraphic Processing Unit๏ผ‰ๅˆ็งฐโ€œๅ›พๅฝขๅค„็†ๅ™จโ€๏ผŒๆ˜ฏ็›ธๅฏนไบŽCPU็š„ไธ€ไธชๆฆ‚
ๅฟต๏ผŒๅ…ถๆœ€ๅˆ็›ฎ็š„ๆ˜ฏๆปก่ถณ่ฎก็ฎ—ๆœบๅ›พๅฝข็•Œ้ขไธญไบบไปฌๅฏนไบŽๅฎžๆ—ถใ€้ซ˜ๆธ…็š„ไธ‰็ปดๅ›พๅฝข็š„้œ€
ๆฑ‚ใ€‚ๅœจๅ›พๅฝขๅผ€ๅ‘ไธญ๏ผŒ็”ฑไบŽๅ›พๅฝขๆธฒๆŸ“ๅŠๅ˜ๆข็ญ‰ๆ“ไฝœๆ˜ฏๅธฆๆœ‰ๅฏๅนถ่กŒ็‰นๅพ็š„๏ผŒๅ› ๆญคๅฏน
ไบŽGPU็š„่ฎพ่ฎก่€…่€Œ่จ€๏ผŒไป–ไปฌๆ›ดๅ€พๅ‘ไบŽๆทปๅŠ ๆ›ดๅคš็š„ๆ ธๅฟƒ่€Œไธๆ˜ฏๆ้ซ˜ๆ ธๅฟƒ็š„่ฟ่กŒๆ•ˆ็Ž‡๏ผŒ
้€š่ฟ‡ๅคšไธชๆ ธๅฟƒไปฅๅŠ็บฟ็จ‹ๆŠ€ๆœฏ๏ผŒไฝฟๅพ—ๅŒไธ€ๆกๆŒ‡ไปคๅฏๅœจๆฏไธชๅ…ƒ็ด ไธŠๆ‰ง่กŒใ€‚ๆญคๅค–๏ผŒไป–ไปฌ
่ฟ˜ๅ–ๆถˆไบ†CPUไธญ็š„็ผ“ๅญ˜ไธŽ้€ป่พ‘ๆŽงๅˆถ้ƒจไปถ๏ผŒๅ› ๆญคGPU้€‚็”จไบŽ่ฎก็ฎ—ๅฏ†้›†็š„ๅนถ่กŒ่ฎก็ฎ—๏ผŒ
่€ŒCPUๆ›ด้€‚็”จไบŽๅซๆœ‰ๅคๆ‚ๆตๆŽง็š„่ฎก็ฎ—ใ€‚
ไฝ†ๆ˜ฏๆœ€ๅˆ็š„GPUๆ˜ฏไธบๅ›พๅฝขๅผ€ๅ‘่€…่€Œๅผ€ๅ‘็š„ๅนณๅฐ๏ผŒๅฏนไบŽ้žๅ›พๅฝขๅผ€ๅ‘่€…่€Œ่จ€๏ผŒ
ไฝฟ็”จGPU่ฟ›่กŒ้€š็”จ่ฎก็ฎ—ๅนถไธๆ˜ฏไธ€ไปถๅฎนๆ˜“็š„ไบ‹ใ€‚ไธบๆญค๏ผŒATIๅ…ฌๅธ๏ผˆๅทฒ่ขซAMDๆ”ถ่ดญ๏ผ‰
ไบŽ2005ๅนดๆๅ‡บ็š„ATI Streamๆ–นๆกˆ๏ผŒNVIDIAๅ…ฌๅธๅœจ2007ๅนดๆŽจๅ‡บ็š„CUDAๅนณๅฐ๏ผŒ้ƒฝๆ˜ฏ
ไธบไบ†่งฃๅ†ณGPU้€š็”จ่ฎก็ฎ—้—ฎ้ข˜่€Œๅšๅ‡บ็š„ๅŠชๅŠ›ใ€‚ๅœจGPU้€š็”จ่ฎก็ฎ—ไธๆ–ญๅ‘ๅฑ•็š„ๅŒๆ—ถ๏ผŒ
ๆ–ฐ็š„่ง„่Œƒ ไนŸ่ขซ ไธ ๆ–ญๅœฐ ๆๅ‡บ๏ผŒAppleๅ…ฌ ๅธๅœจ2008ๅนด ๆ ๅ‡บOpenCL๏ผˆOpen Computing
Language๏ผ‰่ง„่Œƒ๏ผŒๅพฎ่ฝฏๆๅ‡บ็š„DirectCopmute่ง„่Œƒ๏ผŒๅ…ถ็›ฎ็š„้ƒฝๅœจไบŽๅˆถๅฎšไบ†ไธ€ๅฅ—API๏ผŒ
ๅนถๅœจๆญคๅŸบ็ก€ไธŠๅผ€ๅ‘GPU้€š็”จ่ฎก็ฎ—่ฝฏไปถใ€‚
ๅœจ่ฟ™ไบ›GPGPU๏ผˆGeneral Purpose GPU๏ผ‰ๆ–นๆกˆไธญ๏ผŒ็”ฑไบŽCUDAไธบๅผ€ๅ‘่€…ๆไพ›ไบ†
ไธ€ไธช็ฑปไผผไบŽC็š„็ผ–็จ‹็Žฏๅขƒ๏ผŒไฝฟ็”จ่€…ๅฏไปฅๅฟซ้€Ÿๅญฆไน ๏ผŒๆ‰€ไปฅๅ—ๅˆฐไบ†ๅนฟๆณ›็š„ไฝฟ็”จใ€‚
8.1 GPUไฝ“็ณป็ป“ๆž„
็›ธ ๆฏ” ไบŽCPU่€Œ ่จ€๏ผŒ GPU็”ฑ ไบŽ ๅ…ถ ่ฎพ ่ฎก ๅŽŸ ๅˆ™ ๅฐฑ ๆ˜ฏ ้’ˆ ๅฏน ๅฏ† ้›† ่ฟ ็ฎ— ็š„๏ผŒ ๆ‰€ ไปฅ
ๅœจ ๆตฎ ็‚น ่ฟ ็ฎ— ไธŠ ๅ  ็€ ๅ…ˆ ๅคฉ ไผ˜ ๅŠฟใ€‚ ่ฟ‘ ๅ‡  ๅนดCPUๅœจ ่ฟ ็ฎ— ๆ•ˆ ็Ž‡ ไธŠ ็š„ ๆ ๅ‡ ็ผ“ ๆ…ข๏ผŒ ไธŽ
ๆญค ๅŒ ๆ—ถ๏ผŒ GPU่ฎก ็ฎ— ๅด ้ฃž ้€Ÿ ๅ‘ ๅฑ•๏ผŒ ๅ…ถ ่ฟ ็ฎ— ๆ€ง ่ƒฝ ๅทฒ ่ฟœ ่ฟœ ่ถ… ่ฟ‡CPUใ€‚ ๅฆ‚ ๅ›พ ๆ‰€ ็คบ
ๆ˜ฏIntel็š„CPUไธŽNVIDIA็š„GPUๅœจ ๅ„ ไธช ๅž‹ ๅท ไธŠ ๆฏ ็ง’ ๆตฎ ็‚น ่ฟ ็ฎ— ้‡ ็š„ ๅฏน ๆฏ”ใ€‚ ็›ธ ๆฏ”
ไบŽCPU่€Œ่จ€๏ผŒGPU็”ฑไบŽๅ…ถ่ฎพ่ฎกๅŽŸๅˆ™ๅฐฑๆ˜ฏ้’ˆๅฏนๅฏ†้›†่ฟ็ฎ—็š„๏ผŒๆ‰€ไปฅๅœจๆตฎ็‚น่ฟ็ฎ—ไธŠๅ ็€
ๅ…ˆๅคฉไผ˜ๅŠฟใ€‚่ฟ‘ๅ‡ ๅนดCPUๅœจ่ฟ็ฎ—ๆ•ˆ็Ž‡ไธŠ็š„ๆๅ‡็ผ“ๆ…ข๏ผŒไธŽๆญคๅŒๆ—ถ๏ผŒGPU่ฎก็ฎ—ๅด้ฃž้€Ÿๅ‘
ๅฑ•๏ผŒๅ…ถ่ฟ็ฎ—ๆ€ง่ƒฝๅทฒ่ฟœ่ฟœ่ถ…่ฟ‡CPUใ€‚ๅฆ‚ๅ›พ8-1ๆ‰€็คบๆ˜ฏIntel็š„CPUไธŽNVIDIA็š„GPUๅœจๅ„
- 82 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ไธชๅž‹ๅทไธŠๆฏ็ง’ๆตฎ็‚น่ฟ็ฎ—้‡็š„ๅฏนๆฏ”
1
ใ€‚
ๅ›พ 8-1 GPU ไธŽCPUๅœจๆฏ็ง’ๆตฎ็‚น่ฟ็ฎ—้‡ไธŠ็š„ๅทฎๅผ‚
็”ฑไบŽGPUไธญๅ–ๆถˆไบ†้€ป่พ‘ๆŽงๅˆถๅ•ๅ…ƒ๏ผŒ็›ธๆฏ”ไบŽCPUๅ…ถไฝ“็ณป็ป“ๆž„ๆœ‰็€ๅพˆๅคง็š„ไธๅŒใ€‚
ๅ…ธๅž‹็š„CPU็ป“ๆž„ๅธฆๆœ‰ไธ‰็บง็ผ“ๅญ˜๏ผŒๆ•ฐๆฎ็”ฑๅ†…ๅญ˜็ป่ฟ‡ไธ‰ๅฑ‚็ผ“ๅญ˜ๅŽๆ‰่ฟ›ๅ…ฅๅˆฐๅค„็†ๅ™จๆ ธๅฟƒ๏ผŒ
่ฟ™ไธช็ป“ๆž„ๅฆ‚ๅ›พๆ‰€็คบใ€‚GPUๅŒๆ ทๅธฆๆœ‰็ผ“ๅญ˜๏ผŒ่ฟ™ไธช็ผ“ๅญ˜ไธ€่ˆฌๅชๆœ‰ไธค็บง๏ผŒไธŽCPUไธๅŒ็š„
ๆ˜ฏ๏ผŒCPUไธญๅชๆœ‰ไธ€ไธชๅค„็†ๅ™จ๏ผŒ่€ŒGPUไธญๅนถๆฒกๆœ‰ๅค„็†ๅ™จๆ ธๅฟƒ็š„ๆฆ‚ๅฟต๏ผŒๅ–่€Œไปฃไน‹็š„ๆ˜ฏ
ๆตๅค„็†ๅ™จ็ฐ‡๏ผˆStreaming Muntiprocessor๏ผ‰๏ผŒๅœจไธ€ไธชGPUไธญๅพ€ๅพ€ๅซๆœ‰ๅคšไธชๆตๅค„็†ๅ™จ็ฐ‡๏ผŒ
ๅฐฝ็ฎกๅฎƒไปฌไธŽCPUๅค„็†ๅ™จๆ ธๅฟƒๆœ‰็€ๅพˆๅคง็š„ๅทฎๅผ‚๏ผŒไฝ†ๆŸ็ง็จ‹ๅบฆไธŠไนŸๅฏไปฅ็œ‹ๅšๆ˜ฏGPU็š„
ๆ ธๅฟƒ๏ผŒๆ•ดไธชGPU็š„็ป“ๆž„ๅฆ‚ๅ›พๆ‰€็คบใ€‚
a) CPU็ป“ๆž„ b) GPU็ป“ๆž„
ๅ›พ 8-2 CPUไธŽGPU็ป“ๆž„ๅทฎๅผ‚
CPUไธบไบ†ๅฎž็Žฐๅคšๆ ธๆŠ€ๆœฏ๏ผŒๅพ€ๅพ€ๅœจไธ€ไธช่Šฏ็‰‡ไธญ้›†ๆˆๅคšไธชCPUๆ ธๅฟƒ๏ผŒไพ‹ๅฆ‚ๅœจIntel
1
ๅ›พ็‰‡ๅ‡บ่‡ชไบŽNVIDIA็š„ๅฎ˜ๆ–นๆŠ€ๆœฏๆ–‡ๆกฃใ€ŠCUDA C Programming Guideใ€‹
- 83 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
i7ๅค„ ็† ๅ™จ ไธญ ๅซ ๆœ‰4ไธชCPUๆ ธ ๅฟƒ๏ผŒ ๅคš ๆ ธ ๅฟƒ ไฝฟ ๅพ—CPUๅฏ ไปฅ ๅนถ ่กŒ ๆ‰ง ่กŒ ่ฎก ็ฎ—๏ผŒ ไฝ† ็›ธ ๆฏ”
ไบŽGPU่€Œ่จ€๏ผŒCPU็š„ๅนถ่กŒ็ฒ’ๅบฆๆ˜ฏ้žๅธธๅคง็š„ใ€‚ไพ‹ๅฆ‚่ฆๅฐ†ไธ€ไธชๅซๆœ‰100ไธชๅ…ƒ็ด ็š„ๅ‘
้‡็š„ๆฏไธ€ไธชๅ…ƒ็ด ไน˜ไธŠไธ€ไธชๅธธๆ•ฐ2๏ผŒ้‚ฃไนˆๅฏนไบŽ4ๆ ธ็š„CPU๏ผŒๆˆ‘ไปฌๅฏไปฅๆŒ‡ๆดพ1ๅทCPUๆ‰ง่กŒ
็ฌฌ1โˆผ25ไธชๅ…ƒ็ด ็š„ๆ“ไฝœ๏ผŒ2ๅทCPUๆ‰ง่กŒ็ฌฌ26โˆผ50ไธชๅ…ƒ็ด ็š„ๆ“ไฝœ๏ผŒไฝ†ๅฏนไบŽGPU่€Œ่จ€๏ผŒๅฎƒ
ๅฏไปฅ็›ดๆŽฅๅผ€่พŸ100ไธช็บฟ็จ‹๏ผŒๆฏไธช็บฟ็จ‹้’ˆๅฏนๆฏไธชๅ…ƒ็ด ่ฟ›่กŒๆ“ไฝœ๏ผŒ่ฟ™ไบ›็บฟ็จ‹ๆ˜ฏๅนถ่กŒ็บฟ็จ‹
่€Œไธๆ˜ฏๅนถๅ‘็บฟ็จ‹๏ผŒๅ› ๆญคGPUๅฏไปฅๅฎž็Žฐๅฐ็ฒ’ๅบฆ็š„ๅนถ่กŒใ€‚
GPUๅชๆ‰€ไปฅ่ƒฝๅผ€่พŸๅคง่ง„ๆจก็บฟ็จ‹ๆ˜ฏๅ› ไธบไธ€ไธชGPUๅŒ…ๅซไบ†ไธ€ไธชๆตๅค„็†ๅ™จ็ฐ‡้˜ตๅˆ—๏ผŒ
่ฟ™ไธช้˜ตๅˆ—็”ฑๅคšไธชๆตๅค„็†ๅ™จ็ฐ‡ๆž„ๆˆ๏ผŒไพ‹ๅฆ‚่ดน็ฑณๆžถๆž„็š„GPU็š„้˜ตๅˆ—ๅคงๅฐไธบ16ใ€‚่€Œๆฏ
ไธชๆตๅค„็†ๅ™จ็ฐ‡ๅˆๅŒ…ๅซไบ†ๅ‡ ๅไธชๅˆฐๅ‡ ็™พไธช็š„CUDAๆ ธๅฟƒ๏ผŒไพ‹ๅฆ‚๏ผŒ้‡‡็”จๅผ€ๆ™ฎๅ‹’ๆžถๆž„
็š„GPUๆฏไธชๆตๅค„็†ๅ™จ็ฐ‡ๅŒ…ๅซ48ไธชCUDAๆ ธๅฟƒ๏ผŒ่€Œ้‡‡็”จ่ดน็ฑณๆžถๆž„็š„GPUๆฏไธชๆตๅค„็†
ๅ™จ็ฐ‡ๅŒ…ๅซ192ไธชCUDAๆ ธๅฟƒใ€‚่ฟ™ไบ›ๆ ธๅฟƒๅนถไธ็ฑปไผผไบŽCPU็š„ๆ ธๅฟƒ๏ผŒCPU็š„ๆฏไธชๆ ธๅฟƒๅช
่ƒฝๆ‰ง่กŒไธ€ไธช็บฟ็จ‹๏ผŒ่€ŒCUDAๆ ธๅฟƒๅฏไปฅๅนถ่กŒๆ‰ง่กŒๅคšไธช็บฟ็จ‹ใ€‚
GPU็š„็บฟ็จ‹็”ฑ็บฟ็จ‹็ฝ‘ๆ ผ็ฎก็†๏ผŒ็บฟ็จ‹็ฝ‘ๆ ผๅฏไปฅ็œ‹ๅšๆ˜ฏไธ€ไธชไบŒ็ปด็ฝ‘ๆ ผ๏ผŒ่ฟ™ไธช็ป“ๆž„
ๅฆ‚ๅ›พ8-3ๆ‰€็คบใ€‚ๅœจ่ฟ™ไธช็ฝ‘ๆ ผไธญ๏ผŒไธ€ไธช็ปดๅบฆๆ˜ฏ็บฟ็จ‹ๅ—๏ผŒๅฆไธ€ไธชๆ˜ฏ็บฟ็จ‹ๆŸใ€‚ๆฏไธชGPUๆ ธ
ๅฟƒๆœ€ๅคšๅฏๅŒ…ๅซ65536ไธช็บฟ็จ‹ๅ—๏ผŒๆฏไธช็บฟ็จ‹ๅ—ๆœ€ๅคšๅฏๅŒ…ๅซ512ไธช็บฟ็จ‹ๆŸ๏ผŒ่ฟ™ๆ„ๅ‘ณ็€ๆˆ‘
ไปฌๅฏไปฅไธ€ๆฌกๅผ€่พŸๆœ€ๅคšๅคง็บฆ3300ไธ‡ไธช็บฟ็จ‹๏ผŒ็›ฎๅ‰็š„่ดน็ฑณๆžถๆž„ๅทฒ็ปๅฎž็Žฐๆฏไธช็บฟ็จ‹ๅ—ๅฏ
ๅŒ…ๅซ1024ไธช็บฟ็จ‹ๆŸ๏ผŒๅ› ๆญคๅฎƒๆœ€ๅคšๅฏๅผ€่พŸ6600ไธ‡ไธช็บฟ็จ‹ใ€‚ไฝ†่ฟ™ๅชๆ˜ฏ่ฏดๆˆ‘ไปฌๅฏไปฅๅœจไปฃ
็ ไธญๅผ€่พŸ็บฟ็จ‹๏ผŒๅนถไธๆ„ๅ‘ณ็€ๆ‰ง่กŒ็บฟ็จ‹ไนŸๆ˜ฏ่ฟ™ไธชๆ•ฐ้‡็บงใ€‚ไบ‹ๅฎžไธŠ๏ผŒๆฏไธชๆตๅค„็†ๅ™จ็ฐ‡
ๅฏๆ‰ง่กŒ็š„็บฟ็จ‹ๆ•ฐ้‡ๆ˜ฏๆœ‰้™ๅˆถ็š„๏ผŒ่ฟ™ไธชๆ•ฐ้‡็บงๅคง็บฆๆ˜ฏไธ€ๅƒๅทฆๅณใ€‚
ๅ›พ 8-3 ็บฟ็จ‹็ฝ‘ๆ ผ
ๅฎž้™…ไธญๅœจ่ท‘็š„็บฟ็จ‹ๆ•ฐๅคง็บฆไธบๅ‡ ไธ‡๏ผŒ็„ถ่€Œๆˆ‘ไปฌๅดๅฏไปฅๅœจไปฃ็ ไธญๅผ€่พŸๅ‡ ๅƒไธ‡็š„็บฟ
็จ‹๏ผŒ่ฟ™ๅพ—็›ŠไบŽGPUๅฏน็กฌไปถ็š„้š่—ๆœบๅˆถ๏ผŒ็ฑปไผผไบŽๆ“ไฝœ็ณป็ปŸ็š„่™šๆ‹Ÿๅœฐๅ€๏ผŒGPUไผš่‡ชๅŠจ
ๅœฐๅฐ†่ฟ™ๅ‡ ๅƒไธ‡็š„่™šๆ‹Ÿ็บฟ็จ‹ๅœจๅ‡ ไธ‡ๅฎž้™…็บฟ็จ‹ไธญ่ฐƒๅบฆ๏ผŒ่€Œ็จ‹ๅบๅ‘˜ไธ้œ€่ฆๅ‚ไธŽๅˆฐ่ฟ™ไธช่ฟ‡
- 84 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
็จ‹ไธญ๏ผŒๅช้œ€่ฆๅœจไปฃ็ ไธญๅผ€่พŸ็บฟ็จ‹ๅณๅฏใ€‚่ฟ™ไธชๆœบๅˆถไฝฟๅพ—็กฌไปถๅ‡็บงๆ‰ฉๅฑ•ๅ˜ๅพ—็ฎ€ๅ•๏ผŒๅ› 
ไธบ่™šๆ‹Ÿ็š„็บฟ็จ‹ไธŽๅฎž้™…่ฐƒๅบฆ็š„็บฟ็จ‹ๆ˜ฏๅˆ†็ฆป็š„๏ผŒGPUไธบๆˆ‘ไปฌ่‡ชๅŠจ่ฐƒๅบฆ๏ผŒๆˆ‘ไปฌๅฏไปฅ้šๆ„
็š„ๆ›ดๆขๆœชๆฅๆ›ดๅคšๆ ธๅฟƒ็š„GPU่€Œไธ้œ€่ฆๆ”นๅŠจๆˆ‘ไปฌ็š„ไปฃ็ ใ€‚
ไธบไบ†ๆ›ดๅฅฝๅœฐ็†่งฃ็บฟ็จ‹ๅ—ไธŽ็บฟ็จ‹็š„ๆฆ‚ๅฟต๏ผŒๆˆ‘ไปฌไธพไธ€ไธชGPUไธญๅฎž็Žฐไธคไธชๅ‘้‡็›ธๅŠ 
็š„ไพ‹ๅญ๏ผŒๅฆ‚ไปฃ็ 8.1ๆ‰€็คบ
ไปฃ็  8.1 ๅ‘้‡ๅŠ ๆณ•ๅ†…ๆ ธๅ‡ฝๆ•ฐ
1 g l o b a l vo id add ( i n t โˆ—c , i n t โˆ—a , i n t โˆ—b ) {
2 i n t t i d = b l o c k I d . x ;
3 c [ t i d ] = a [ t i d ] + b [ t i d ] ;
4 }
ไปฃ็ 8.1ไธญ็š„็š„ kernel ไปฃ่กจ่ฟ™ๆ˜ฏไธ€ไธชๅœจGPUไธญๆ‰ง่กŒ็š„ไปฃ็ ๏ผŒๆˆ‘ไปฌ็งฐๅ…ถไธบๅ†…
ๆ ธๅ‡ฝๆ•ฐใ€‚็”ฑ kernel ๆ ‡่ฎฐ็š„ไปฃ็ ๅฐ†็”ฑnvcc็ผ–่ฏ‘ๅ™จ็ผ–่ฏ‘๏ผŒ่€Œๆฒกๆœ‰่ฟ™ไธชๆ ‡่ฎฐ็š„ๅ‡ฝๆ•ฐๅฐ†
็”ฑC++็š„็ผ–่ฏ‘ๅ™จ็ผ–่ฏ‘
2
ใ€‚็ฌฌ2่กŒไปฃ่กจ่Žทๅ–ๅฝ“ๅ‰็š„็บฟ็จ‹ๅท๏ผŒ่ฟ™้‡Œๆˆ‘ไปฌๅ‡ๅฎš็บฟ็จ‹ๅทๅฐฑๆ˜ฏ
็บฟ็จ‹ๅ—็š„็ผ–ๅท๏ผŒๅณ้ป˜่ฎคๆฏไธช็บฟ็จ‹ๅ—ๅชๆœ‰ไธ€ไธช็บฟ็จ‹ๅœจ่ฟ่กŒใ€‚ๅฆ‚ๆžœๆฏไธช็บฟ็จ‹ๅ—ๆœ‰ๅคšไธช
ไธช็บฟ็จ‹ๅœจๆ‰ง่กŒ๏ผŒ้‚ฃไนˆ็ฌฌ2่กŒไปฃ็ ๅบ”ๆ”นไธบ
i n t t i d = t h r e a d I d x . x + b l o c k I d . x + blockDim . x ;
่ง‚ๅฏŸๅ›พ8-3๏ผŒ่ฟ™ๅฎž่ดจไธŠ็ฑปไผผไบŽไบŒ็ปด็ดขๅผ•็ฉบ้—ด่ฝฌๆขไธบ็บฟๆ€ง็ฉบ้—ด็š„ไปฃ็ ใ€‚ไปฃ็ 8.1ไธญ
็š„็ฌฌ3่กŒไปฃ่กจๆฏไธช็บฟ็จ‹ๆ‰ง่กŒไธ€ไธชๆ“ไฝœ๏ผŒๅณๅฐ†ๅ‘้‡aไธญ็š„็ฌฌtidไธชๅ…ƒ็ด ไธŽๅ‘้‡bไธญ็š„
็ฌฌtidไธชๅ…ƒ็ด ็›ธๅŠ ๏ผŒๅนถๅญ˜ๅ‚จๅœจๅ‘้‡c็š„็ฌฌtidไธชๅ…ƒ็ด ไธญใ€‚่ฟ™ๅฏไปฅ็†่งฃไธบ๏ผŒไปฃ็ 8.1ไผš
ๅšไธบไธ€ไธชๅ‰ฏๆœฌๅˆ†ๅ‘็ป™ๅ„ไธช็บฟ็จ‹๏ผŒๅ„ไธช็บฟ็จ‹ๆ‹ฟๅˆฐ่ฟ™ๆฎตไปฃ็ ๅŽ๏ผŒๆ นๆฎ่‡ชๅทฑ็š„็บฟ็จ‹ID
๏ผˆๅณtid๏ผ‰ๆ‰ง่กŒๅ‘้‡aๅ’Œๅ‘้‡bไธญ็š„็ฌฌtid็š„ๅ…ƒ็ด ็š„ๆ“ไฝœใ€‚
8.2 CUDA
CUDA๏ผˆCompute Uni๏ฌed Device Architecture๏ผ‰ๆ˜ฏNVIDIAๅ…ฌๅธๅœจ2007ๅนดๆŽจๅ‡บ็š„
้ซ˜ๆ€ง่ƒฝ่ฟ็ฎ—ๅนณๅฐ๏ผŒๅฎƒๅฏไปฅ่ฎฉGPUๅœจๆ‰ง่กŒๅธธ่ง„็š„ๅ›พๅฝขๆธฒๆŸ“็š„ๅŸบ็ก€ไธŠ้ขๅค–ๅœฐๅฎž็Žฐ้ซ˜ๆ€ง
่ƒฝ็š„้€š็”จๅนถ่กŒ่ฎก็ฎ—ใ€‚CUDAๅŒ…ๅซไบ†CUDAๆŒ‡ไปค้›†ๆžถๆž„ไปฅๅŠGPUๅ†…้ƒจ็š„ๅนถ่กŒ่ฎก็ฎ—ๅผ•
ๆ“Ž๏ผŒ้€š่ฟ‡ๅˆฉ็”จGPU ็š„ๅค„็†่ƒฝๅŠ›๏ผŒๅฏๅคงๅน…ๆๅ‡่ฎก็ฎ—ๆ€ง่ƒฝใ€‚ๆ”ฏๆŒCUDAๅนณๅฐ็š„GPUๅŒ…
ๆ‹ฌNVIDIA Tesla ใ€NVIDIA Quadro ไปฅๅŠNVIDIA GeForceๅคšไธช็ณปๅˆ—๏ผŒๅ…ถไปทๆ ผไนŸๆถต็›–
ไบ†้ซ˜็ซฏๅˆฐๅบ•็ซฏๅคšไธชๅธ‚ๅœบ๏ผŒไฝฟๅพ—CUDA่ƒฝๅคŸๆปก่ถณไปŽๆถˆ่ดน็บงๅˆฐไธ“ไธš็บง็ญ‰ๅคšไธชๆ–น้ข็š„
2
ไพ‹ๅฆ‚Windowsๆ“ไฝœ็ณป็ปŸไธ‹็š„msvcๆˆ–Linuxๆ“ไฝœ็ณป็ปŸไธ‹็š„gcc
- 85 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
้œ€ๆฑ‚ใ€‚็›ฎๅ‰ไธบๆญข๏ผŒCUDAๅทฒ็ปๅบ”็”จๅˆฐๅ›พๅƒไธŽ่ง†้ข‘ๅค„็†ใ€่ฎก็ฎ—็”Ÿ็‰ฉๅญฆใ€ๆตไฝ“ๅŠ›ๅญฆ
ๆจกๆ‹Ÿใ€้‡‘่ž้ฃŽ้™ฉๅˆ†ๆžใ€ๅœฐ้œ‡ๅˆ†ๆž็ญ‰ๅคšไธช้ข†ๅŸŸ๏ผŒๅ…จ็ƒไบ”็™พๅผบไผไธšไปฅๅฎ‰่ฃ…700ๅคšไธชๅŸบ
ไบŽCUDA็š„GPU้›†็พค๏ผŒ่ฟ™ไบ›ๅ…ฌๅธๅŒ…ๆ‹ฌไบ†่ƒฝๆบ้ข†ๅŸŸ็š„ๆ–ฏไผฆ่ด่ฐขไธŽ้›ชไฝ›้พ™ไปฅๅŠ้“ถ่กŒไธš
็š„ๆณ•ๅ›ฝๅทด้ปŽ้“ถ่กŒ็ญ‰ใ€‚
ๅœจCUDAไธญ๏ผŒ ็จ‹ ๅบ ๅ‘˜ ้œ€ ่ฆ ๆ‰‹ ๅทฅ ๅฐ† ๆ•ฐ ๆฎ ไปŽ ๅ†… ๅญ˜ ไธญ ่ฟ ็งป ๅˆฐGPUไธญ๏ผŒ่ฟ˜ ้œ€ ่ฆ ่ดŸ
่ดฃGPUๅ†…ๅญ˜็š„ๅ›žๆ”ถ๏ผŒไพ‹ๅฆ‚๏ผŒไธบไบ†ๆ‰ง่กŒไธคไธชๅ‘้‡็š„ๅŠ ๆณ•๏ผŒๅ…ถ็‰‡ๆฎตๅฆ‚ไปฃ็ 8.2ๆ‰€็คบ
ไปฃ็  8.2 GPU ไธญๅ‘้‡ๅŠ ๆณ•็š„่ฐƒ็”จ่ฟ‡็จ‹
1 i n t a [N] , b [N] , c [N ] ;
2 i n t โˆ—d e v a , โˆ—d e v b , โˆ—d e v c ;
3 / / i n i t a [N ] , b [N ] . . . . .
4 c u d a Ma ll oc ( ( v oi d โˆ—โˆ—)& de v a , Nโˆ— s i z e o f ( i n t ) ) ;
5 c u d a Ma ll oc ( ( v oi d โˆ—โˆ—)& d e v b , Nโˆ— s i z e o f ( i n t ) ) ;
6 c u d a Ma ll oc ( ( v oi d โˆ—โˆ—)& de v c , Nโˆ— s i z e o f ( i n t ) ) ;
7 cudaMemcpy ( d ev a , a , Nโˆ— s i z e o f ( i n t ) , cudaMemcpyHostToDevice ) ;
8 cudaMemcpy ( dev b , b , Nโˆ— s i z e o f ( i n t ) , cudaMemcpyHostToDevice ) ;
9 add <<<N, 1>>>( dev c , de v a , d e v a ) ;
10 cudaMemcpy ( c , de v c , Nโˆ— s i z e o f ( i n t ) , cudaMemcpyDeviceToHost ) ;
11 c u d a F r e e ( d e v a ) ;
12 c u d a F r e e ( d ev b ) ;
13 c u d a F r e e ( d e v c ) ;
ๅœจไปฃ็ 8.2ไธญ๏ผŒๆˆ‘ไปฌๅ…ˆๅœจGPUไธญ็”ณ่ฏทๅ†…ๅญ˜๏ผŒๅณๅฏนๅบ”็š„4โˆผ6่กŒ๏ผŒ้šๅŽๅœจ7โˆผ8่กŒไธญๅฐ†
ๅ†…ๅญ˜ไธญ็š„ๆ•ฐๆฎ่ฟ็งปๅˆฐไน‹ๅ‰็”ณ่ฏท็š„GPUๅ†…ๅญ˜ไธญใ€‚็ฌฌ9่กŒๆ‰ง่กŒไปฃ็ 8.1ๅฎž็Žฐ็š„ๅŠ ๆณ•ๅ†…ๆ ธ
ๅ‡ฝๆ•ฐ๏ผŒๅœจGPUไธญๅผ€่พŸNไธช็บฟ็จ‹ๅ—๏ผŒๆฏไธช็บฟ็จ‹ๅ—ๅซๆœ‰1ไธช็บฟ็จ‹๏ผŒGPUๅฎŒๆˆ่ฎก็ฎ—ๅŽ๏ผŒๆˆ‘
ไปฌๅœจ็ฌฌ10่กŒๅฐ†่ฎก็ฎ—็ป“ๆžœไปŽGPUไธญ่ฟ็งปๅ›žๅ†…ๅญ˜๏ผŒๆœ€ๅŽ็ฌฌ11โˆผ13่กŒ้‡Šๆ”พไน‹ๅ‰็”ณ่ฏท็š„ๅ†…
ๅญ˜ใ€‚้‡Šๆ”พๅ†…ๅญ˜ๆ˜ฏ้‡่ฆ็š„๏ผŒๅฆ‚ๆžœ็”ณ่ฏทไบ†ๅ†…ๅญ˜ไธ้‡Šๆ”พไพฟไผšๅฏผ่‡ดๅ†…ๅญ˜ๆณ„้œฒ๏ผŒๅฝ“ๅ†…ๅญ˜ๆถˆ่€—
ๅฎŒๆฏ•ๅŽ็จ‹ๅบๅดฉๆบƒใ€‚
ๆˆ‘ไปฌไธ็”ฑๆ„Ÿๅน๏ผŒไธบไบ†ๆ‰ง่กŒไธ€ไธช็ฎ€ๅ•็š„ๅ‘้‡ๅŠ ๆณ•ๅฐฑ่ฆ็ผ–ๅ†™ๅฆ‚ๆญคๅคš็š„ไปฃ็ ๏ผŒๆˆ‘ไปฌ
้œ€่ฆๆ‰‹ๅทฅ็”ณ่ฏทๅ†…ๅญ˜๏ผŒๆ‰‹ๅทฅๅฐ†ๆ•ฐๆฎ่ฟ็งปๅˆฐGPUไธญ๏ผŒๆ‰‹ๅทฅ่ฐƒ็”จๅ†…ๆ ธๅ‡ฝๆ•ฐ๏ผŒ่ฐƒ็”จๅฎŒๆฏ•ๅŽ
้œ€่ฆๆ‰‹ๅทฅๅฐ†่ฎก็ฎ—็ป“ๆžœไปŽGPUไธญ่ฟ็งปๅ›žๆฅ๏ผŒๆœ€ๅŽ่ฟ˜้œ€่ฆๆ‰‹ๅทฅ้‡Šๆ”พ็”ณ่ฏท็š„ๅ†…ๅญ˜ใ€‚ๅฆ‚ๆžœ
็”จๆˆทไธๆ˜ฏไธ“ไธš็š„็จ‹ๅบๅ‘˜๏ผŒ้‚ฃไนˆไปฃ็ ็ผ–ๅ†™็š„่ฟ‡็จ‹ๅๅˆ†ๅ›ฐ้šพใ€‚ๅ› ๆญค๏ผŒๅœจCUDAไน‹ไธŠๆœ‰
ๅคšไธชๅ›ข้˜Ÿไธบๆœบๅ™จๅญฆไน ็ ”็ฉถไบบๅ‘˜ๅผ€ๅ‘ไบ†ไธ“้—จ็š„็ฌฌไธ‰ๆ–นๅบ“๏ผŒๆˆ‘ไปฌๅฐ†ไผšไป‹็ปๅ‡ ไธชๅธธ่ง็š„
ๅŒ…ใ€‚
- 86 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
8.3 Cudamat
Cudamatๆ˜ฏไธ€ไธช็”ฑๅคšไผฆๅคšๅคงๅญฆๅผ€ๅ‘็š„ไธ€ๅฅ—้’ˆๅฏนไบŽPython็š„ๅผ€ๆบ็ฌฌไธ‰ๆ–นๅบ“
[49]
๏ผŒ
ๅฎƒๅŸบไบŽCUDA๏ผŒๅœจๅฎž็ŽฐGPU้ซ˜ๆ€ง่ƒฝ่ฎก็ฎ—็š„ๅŒๆ—ถไฟ็•™ไบ†Pythonโ€œ่ฏญๆณ•ไผ˜้›…โ€็š„็‰นๆ€ง๏ผŒ
ๆ‰€ไปฅไฝฟ็”จ่€…ๅฏไปฅๅพˆๆ–นไพฟๅœฐๅœจPython่ฏญๆณ•ๅฑ‚ๆฌกไธŠ่ฐƒ็”จ็Ÿฉ้˜ต่ฟ็ฎ—ๅบ“ใ€‚ๅผ€ๅ‘Cudamat็š„
็›ฎ็š„ๆ˜ฏไธบไบ†ๆ–นไพฟๆœบๅ™จๅญฆไน ๅปบๆจก๏ผŒไฝฟ็ง‘็ ”ไบบๅ‘˜ไปŽ็น็็š„CUDA็ผ–็จ‹ไธญ่งฃๆ”พๅ‡บๆฅ๏ผŒ
็”ฑ ไบŽGPUๅœจ ๆตฎ ็‚น ๅนถ ่กŒ ่ฟ ็ฎ— ไธŠ ๅทจ ๅคง ็š„ ไผ˜ ๅŠฟ๏ผŒๆ‰€ ไปฅ ๅœจ ่ฎก ็ฎ— ๅฏ† ้›† ็š„ ็Ÿฉ ้˜ต ่ฟ ็ฎ— ไปป ๅŠก
ไธญCudamat็›ธๅฏนไบŽnumpyๆˆ–MATLAB๏ผŒๅ…ถ่ฟ็ฎ—้€Ÿๅบฆๅคง็บฆๆๅ‡ไบ†50ๅ€ๅทฆๅณใ€‚
ๅœจCudamatไธญ๏ผŒๅผ€ๅ‘่€…ๅทฒไธบๆˆ‘ไปฌ้‡่ฝฝไบ†ไธ€ไบ›่ฟ็ฎ—็ฌฆ๏ผŒ่ฟ™ไฝฟๅพ—็Ÿฉ้˜ต็š„ๅ››ๅˆ™่ฟ็ฎ—
่ฟ็ฎ—ไปฅๅŠ้ขๅ‘ๅ…ƒ็ด ็š„ๅ››ๅˆ™่ฟ็ฎ—๏ผŒไปฅๅŠ็Ÿฉ้˜ต็š„ๅˆ‡็‰‡ใ€่ฝฌ็ฝฎ็ญ‰ๆ“ไฝœไธๅ†้œ€่ฆ็ผ–ๅ†™ๅคง้‡
็š„ไปฃ็ ๆˆ–่ฐƒ็”จๅฏนๅบ”็š„ๅ‡ฝๆ•ฐใ€‚ๆญคๅค–๏ผŒๅผ€ๅ‘่€…่ฟ˜ๆไพ›ไบ†ไธ€ไบ›ๅธธ็”จ็š„ๅ‡ฝๆ•ฐ๏ผŒไพ‹ๅฆ‚้ขๅ‘ๅ…ƒ
็ด ็š„exp()ใ€log()ใ€sqrt()ใ€pow()๏ผŒ็Ÿฉ้˜ต็š„ไน˜ๆณ•ไปฅๅŠ้ขๅ‘่ฝด็š„ๆฑ‚ๅ’Œใ€้šๆœบ็Ÿฉ้˜ต็š„็”Ÿๆˆ
็ญ‰ใ€‚ไพ‹ๅฆ‚๏ผŒไธบไบ†ๅฎž็Žฐไธ€ไธชlogisticๅ‡ฝๆ•ฐ๏ผŒๅช้œ€่ฆๅœจPythonไธญๅชไนฆๅ†™ไปฃ็ 8.3ไธญ็š„่ฏญๅฅ
ไปฃ็  8.3 Cudamatไธญlogistic็š„ๅฎž็Žฐ
d e f l o g i s t i c (A ) :
expTerm = cudamat . CUDAMatrix ( numpy . random . r a n d n (A . s ha p e ) )
cm . exp ( โˆ’A, t a r g e t =expTerm )
r e t u r n 1 / ( 1 + expTerm )
ๅฐฝ็ฎกCudamatๅนถๆฒกๆœ‰ๅฐ†CUDA็š„ๆ‰€ๆœ‰ๅŠŸ่ƒฝ้ƒฝๅ›Šๆ‹ฌๅ…ถไธญ๏ผŒไฝ†ๅœจๆœบๅ™จๅญฆไน ไธญๅธธ็”จ็š„
ๅŠŸ่ƒฝๅŸบๆœฌ้ƒฝๅฎž็Žฐไบ†๏ผŒๆ‰€ๆœ‰ๆˆ‘ไปฌๅฏไปฅๅœจไธ้œ€่ฆไบ†่งฃๅบ•ๅฑ‚CUDA็š„ๅ‰ๆไธ‹้ซ˜ๆ•ˆๅœฐๅปบ็ซ‹
ๆ•ฐๅญฆๆจกๅž‹็š„ไปฃ็ ๏ผŒๅ‡่ฝปไบ†ๆˆ‘ไปฌ็š„ๅทฅไฝœ้‡ใ€‚
8.4 Gnumpy
ๅœจPython็ง‘ ๅญฆ ่ฎก ็ฎ— ไธญ๏ผŒ numpyไธŽscipyไธค ไธช ็ฌฌ ไธ‰ ๆ–น ๅŒ… ๅ…… ๅฝ“ ็€ ้‡ ่ฆ ่ง’ ่‰ฒ๏ผŒ ๅ…ถ
ไธญnumpyๅ‡ญๅ€Ÿๅ…ถไผ˜็พŽ็š„่ฏญๆณ•ๅฎž็ŽฐไปฅๅŠ้ซ˜ๆ•ˆๅœฐๆ‰ง่กŒ้€Ÿ็Ž‡ๆทฑๅ—ไบบไปฌๅ–œ็ˆฑใ€‚ๅœจnumpyไธญ๏ผŒ
ๆœ‰็€่ฎธๅคšๅทงๅฆ™็š„่ฎพ่ฎก๏ผŒๆฏ”ๅฆ‚ๅนฟๆ’ญ็‰นๆ€งใ€ๅˆ‡็‰‡ใ€ๆ–นไพฟ็š„ๅ…ƒ็ด ๅญ˜ๅ–ใ€ไธฐๅฏŒ็š„ๅ‡ฝๆ•ฐ็ญ‰ใ€‚
ๅ…ถ่ฏญๆณ•็‰นๆ€งไธŽMATLABๆŽฅ่ฟ‘๏ผŒๅ‡ ไนŽMATLABไธŠ่ƒฝๅฎž็Žฐ็š„ๅŠŸ่ƒฝๅœจnumpyไธญ้ƒฝ่ƒฝๆ‰พๅˆฐ
ๅฏนๅบ”็š„ๅฎž็Žฐ๏ผŒๆญคๅค–่ฟ˜ๅŠ ๅ…ฅไธ€ไบ›MATLABๆ‰€ไธๆ”ฏๆŒ็š„ๅŠŸ่ƒฝ๏ผŒไพ‹ๅฆ‚ๆ–นไพฟๅœฐๅตŒๅ…ฅC++ไปฃ
็ ใ€ๆ–นไพฟๅœฐๅญ˜ๅ‚จๅ›พๅƒใ€็ฝ‘็ปœIO็ญ‰ๅŠŸ่ƒฝใ€‚ๅฐฝ็ฎกnumpy่ฏญๆณ•็ฎ€ๅ•๏ผŒ่ฟ่กŒๆ•ˆ็Ž‡ๆŽฅ่ฟ‘ไบŽC๏ผŒ
ไฝ†็”ฑไบŽๅ…ถๆœฌ่ดจไธŠ่ฟ˜ๆ˜ฏๅŸบไบŽCPU็š„่ฟ็ฎ—๏ผŒๆ‰€ไปฅๅœจๅคง่ง„ๆจก็š„่ฎก็ฎ—ไธญ่ฟ่กŒๆ•ˆ็Ž‡ๆ˜พๅพ—ๆœ‰ไบ›
้šพๅฐฝไบบๆ„ใ€‚
- 87 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ๅœจCudamatไธŠ็ผ–ๅ†™ไปฃ็ ่ฆๆฏ”็›ดๆŽฅๅœฐไฝฟ็”จCUDA็ผ–ๅ†™ไปฃ็ ่ฆๆ–นไพฟๅพ—ๅคš๏ผŒๆˆ‘ไปฌไธ
ๅ†้œ€่ฆไบ†่งฃๅบ•ๅฑ‚๏ผŒไธๅ†้œ€่ฆๆ‹…ๅฟƒGPU็š„ๅ†…ๅญ˜้‡Šๆ”พ๏ผŒไธๅ†้œ€่ฆ็ผ–ๅ†™ๅคๆ‚็š„ๅ†…ๆ ธๅ‡ฝ
ๆ•ฐ๏ผŒ็„ถ่€Œ๏ผŒCudamatไปฃ็ ่ฆๆฏ”numpyไปฃ็ ้€Š่‰ฒไธๅฐ‘๏ผŒไพ‹ๅฆ‚ไปฃ็ 8.3ไธญ็š„expๅ‡ฝๆ•ฐ้œ€่ฆ
ๅœจๅ‚ๆ•ฐๅˆ—่กจไธญๅธฆไธŠ่ฟ”ๅ›žๅ˜้‡๏ผŒ่€Œ่ฟ™ไธช่ฟ”ๅ›žๅ˜้‡ๅˆๅฟ…้กป่ฆๅ…ˆๅฃฐๆ˜Ž๏ผŒๆ— ๆณ•ๅฎž็Žฐๅ˜้‡็š„
ๅŠจๆ€ไฝฟ็”จ๏ผŒๆ‰€ไปฅCudamatๅธฆ็€ๆ˜Žๆ˜พ็š„C่ฏญ่จ€้ฃŽๆ ผ๏ผŒ่ฟ™่ฟ่ƒŒไบ†Pythonๅ…ณไบŽโ€œ็ฎ€ๅ•ๅฐฑๆ˜ฏ
็พŽโ€็š„่ฎพ่ฎกๅŽŸๅˆ™ใ€‚้‰ดไบŽไปฅไธŠๅŽŸๅ› ๏ผŒๅคšไผฆๅคšๅคงๅญฆๅœจcudamat็š„ๅŸบ็ก€ไธŠๅผ€ๅ‘ไบ†ๆ–ฐไธ€ไปฃ็š„
ๅผ€ๆบ็ฌฌไธ‰ๆ–นๅŒ…โ€”Gnumpy
[50]
ใ€‚Gnumpyๅ…ถ่ฎก็ฎ—ๆœฌ่ดจๆ˜ฏGPU่ฎก็ฎ—๏ผŒไฝ†ๅ…ถๆŽฅๅฃ็‰นๆ€งๆŽฅ่ฟ‘
ไบŽnumpyใ€‚ๅฐฝ็ฎกGnumpyๆ˜ฏๅŸบไบŽCudamat็š„๏ผŒไฝ†ๅœจGnumpyไธญไฝ ๅฐ†็œ‹ไธๅˆฐCudamat็š„
ๅฝฑๅญ๏ผŒๅผ€ๅ‘่€…ๅทฒ็ปๅฐ†ๅ…ถ้š่—ไบ†๏ผŒไฝ ็œ‹ๅˆฐ็š„ๅชๆœ‰็ฑปไผผไบŽnumpy้‚ฃๆ ทไพฟๆท็š„ๆŽฅๅฃใ€‚ไพ‹
ๅฆ‚๏ผŒๅŒๆ ทๆ˜ฏๅฎž็Žฐlogisticๅ‡ฝๆ•ฐ๏ผŒๅœจGnumpyไธญๅช้œ€ๅ†™ๆˆไปฃ็ 8.4ไธญ็š„ๅฝขๅผ
ไปฃ็  8.4 Gnumpyไธญlogistic็š„ๅฎž็Žฐ
d e f l o g i s t i c (A ) :
r e t u r n 1 / ( 1 + gnumpy . exp ( โˆ’A ) )
ไบ‹ๅฎžไธŠ๏ผŒgnumpyๅทฒ็ปไธบๆˆ‘ไปฌๅฎž็Žฐไบ†logisticๅ‡ฝๆ•ฐ๏ผŒๅ› ๆญคๆˆ‘ไปฌๅช้œ€่ฆไธ€ๆก่ฏญๅฅๅณ
ๅฏๅฎŒๆˆ่ฏฅๅŠŸ่ƒฝ
A . l o g i s t i c ( )
ไฝฟ ็”จGnumpyๆ›ด ๅฎน ๆ˜“ ็ผ– ๅ†™ ็จ‹ ๅบ๏ผŒ ไปฃ ็  ็›ธ ๅฏน ไบŽCudamat่€Œ ่จ€ ๆ›ด ็ฎ€ ็Ÿญ๏ผŒไนŸ ๆ›ด ๅฎน
ๆ˜“ ้˜… ่ฏปไธŽ ่ฐƒ ่ฏ•๏ผŒๅฏน ไบŽ ๆ‹ฅ ๆœ‰numpyไฝฟ็”จ ็ป ้ชŒ ็š„ ๅผ€ ๅ‘ ่€… ่€Œ ่จ€ ๅฏ ไปฅ ๅพˆ ๅฎน ๆ˜“ ๅœฐ ไธŠๆ‰‹ใ€‚
ๅฐฝ ็ฎกGnumpyๆ˜ฏ ๅŸบ ไบŽCudamat็š„ ๅŸบ ็ก€ ไธŠ ่ฟ› ่กŒ ็š„ ไบŒ ๆฌก ๅผ€ ๅ‘๏ผŒ ไฝ† ๅ…ถ ่ฟ ่กŒ ๆ•ˆ ็Ž‡ ๆŽฅ ่ฟ‘
ไบŽCudamat๏ผŒๅ› ๆญคไฝฟ็”จ่€…ๆ— ้œ€่ฟ‡ไบŽๆ‹…ๅฟƒๆ•ˆ็Ž‡้—ฎ้ข˜ใ€‚
8.5 PyCUDA
ๆ— ่ฎบๆ˜ฏGnumpyๆˆ–ๆ˜ฏCudamat้ƒฝๅชๆไพ›ไบ†ไธ€ไบ›็Ÿฉ้˜ต็š„ๅŸบๆœฌๆ“ไฝœ๏ผŒๆˆ‘ไปฌๆ— ๆณ•ๅฎž
็Žฐไธ€ไบ›่ฟ™ไธคไธชๅบ“ๆฒกๆœ‰็š„็Ÿฉ้˜ตๆ“ไฝœ๏ผŒไพ‹ๅฆ‚ไบŒ็ปด็ฆปๆ•ฃๅท็งฏใ€‚ๅฆ‚ๆžœๆˆ‘ไปฌๅ› ไธบๅ†…ๅญ˜็ฎก
็†็š„ๅŽŸๅ› ไธๆƒณ็›ดๆŽฅๅ†™็น็็š„CUDA Cไปฃ็ ๏ผŒ้‚ฃไนˆPyCUDAๆ˜ฏไธ€ไธชๅฏไปฅ้€‰ๆ‹ฉ็š„ๅบ“ใ€‚
PyCUDAๆ˜ฏ็”ฑAndreas KlocknerไธŽNicolas Pinto็ญ‰ไบบๅผ€ๅ‘็š„ไธ€ไธชPython็ฌฌไธ‰ๆ–นๅบ“
[51]
๏ผŒ
ๅ…ถ็›ฎ็š„ๅœจไบŽๅ…่ฎธๆˆ‘ไปฌๅœจPythonไธญๅ†…ๅตŒCUDA Cไปฃ็ ใ€‚ๅœจPyCUDAไธญ๏ผŒๆˆ‘ไปฌๅฏไปฅๅช
ไนฆๅ†™ๅ†… ๆ ธๅ‡ฝ ๆ•ฐ๏ผŒ่€Œไธๅ†™ ๅ†… ๅญ˜็ฎก็† ็š„ ไปฃ็ ใ€‚ๅœจ็จ‹ ๅบ ็ฌฌไธ€ๆฌกๆ‰ง ่กŒๆ—ถ๏ผŒPythonไผš่ฐƒ
็”จCUDA็š„็ผ–่ฏ‘ๅ™จๅฐ†CUDA C็š„ไปฃ็ ็ผ–่ฏ‘ๆˆๅŠจๆ€้“พๆŽฅๆ–‡ไปถ๏ผŒ็ผ–่ฏ‘ๅฎŒๆˆๅŽๅฏไปฅ็›ดๆŽฅ
ๅœจPythonไธญ่ฐƒ็”จ่ฟ™ไธชๅ‡ฝๆ•ฐใ€‚ไพ‹ๅฆ‚๏ผŒไธบไบ†ๅฎž็Žฐไธ€ไธช็Ÿฉ้˜ต็›ธไน˜็š„ๅ‡ฝๆ•ฐ๏ผŒๆˆ‘ไปฌ็š„ไปฃ็ ๅฆ‚
ไปฃ็ 8.5ๆ‰€็คบ
- 88 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ไปฃ็  8.5 Pycudaไธญๅฎž็Žฐๅ‘้‡็›ธๅŠ 
1 i mport py c u d a . d r i v e r a s GPU
2 from py c u d a . c o m p i l e r im port So u r ceModul e
3 d e f add (A, B , N ) :
4 code = S o u r c e Modul e ( โ€™ โ€™ โ€™
5 g l o b a l v o i d add ( i n t โˆ—c , i n t โˆ—a , i n t โˆ—b ) {
6 i n t t i d = b l o c k I d . x ;
7 c [ t i d ] = a [ t i d ] + b [ t i d ] ;
8 }
9 โ€™ โ€™ โ€™ )
10 a ddB yGP U = c o d e . g e t f u n c t i o n ( โ€ add โ€ )
11 C = numpy . z e r o s l i k e (A)
12 a ddB yGP U (GPU . Out (C ) , GPU . I n (A) , GPU . I n ( B ) ,
13 b l o c k =(N, 1 , 1 ) , g r i d = ( 1 , 1 ) )
14 r e t u r n C
ไปฃ็ 8.5็š„็ฌฌ4โˆผ9่กŒ้€š่ฟ‡ๅญ—็ฌฆไธฒ็š„ๅฝขๅผๅตŒๅ…ฅCUDA C็š„ๅ†…ๆ ธๅ‡ฝๆ•ฐ๏ผŒ็ฌฌ10่กŒ่ฏ•ๅ›พๅŽป
่Žทๅ–ๅไธบโ€œaddโ€็š„ๅ†…ๆ ธๅ‡ฝๆ•ฐ๏ผŒๅฆ‚ๆžœ่ฟ™่กŒ่ฏญๅฅๆ˜ฏ็ฌฌไธ€ๆฌกๆ‰ง่กŒ๏ผŒๅนถไธ”ๅœจๆˆ‘ไปฌๅทฒ็ป้€š
่ฟ‡ๅญ—็ฌฆไธฒๅฝขๅผๅตŒๅ…ฅไบ†โ€œaddโ€่ฟ™ไธชๅ‡ฝๆ•ฐ๏ผŒ้‚ฃไนˆPythonๅฐฑไผš่ฐƒ็”จnvcc็ผ–่ฏ‘ๅ™จๅฏนไปฃ็ ่ฟ›
่กŒ็ผ–่ฏ‘๏ผŒๅนถไฟๅญ˜ไธบๅŠจๆ€้“พๆŽฅๆ–‡ไปถ๏ผŒๅฝ“ไธ‹ไธ€ๆฌกๅ†่ฏ•ๅ›พ่Žทๅ–่ฟ™ไธชๅ†…ๆ ธๅ‡ฝๆ•ฐๆ—ถไธ้œ€่ฆๅ†
็ผ–่ฏ‘ไธ€ๆฌก่€Œ็›ดๆŽฅ่ฐƒ็”จใ€‚็ฌฌ12่กŒๆ‰ง่กŒGPUไธญ็š„่ฎก็ฎ—๏ผŒไปฅAใ€Bไฝœไธบ่พ“ๅ…ฅ๏ผŒCไฝœไธบ่พ“ๅ‡บ๏ผŒ
ๆ‰ง่กŒๅœจNไธช็บฟ็จ‹ๅ—ไธŠใ€‚ๆœ€ๅŽ่ฟ”ๅ›ž่ฟ็ฎ—็ป“ๆžœCใ€‚
PyCUDAไฝฟๅพ—ๆˆ‘ไปฌ็š„ไปฃ็ ่‡ช็”ฑๅบฆๅ˜ๅพ—ๆ›ด้ซ˜๏ผŒๆˆ‘ไปฌๅฏไปฅๅฎž็Žฐไปปไฝ•ไธ€ไธชๆˆ‘ไปฌๆƒณ่ฆ
็š„ๅ†…ๆ ธๅ‡ฝๆ•ฐใ€‚ไฝ†ไธŽๆญคๅŒๆ—ถๅฎƒไนŸไฝฟๅพ—ๆˆ‘ไปฌ็š„ไปฃ็ ๅ˜ๅพ—ๅคๆ‚ใ€‚ๅคฉไธ‹ๆฒกๆœ‰ๅ…่ดน็š„ๅˆ้ค๏ผŒ
้€‰ๆ‹ฉไธ€ไธช่‡ช็”ฑๅบฆ้ซ˜็š„ๅบ“ๆˆ–ๆ˜ฏ้€‰ๆ‹ฉไธ€ไธชไปฃ็ ็ฎ€ๅ•็š„ๅบ“ๅฎŒๅ…จๅ–ๅ†ณไบŽไฝ ็š„ๆƒ่กกใ€‚
8.6 Ca๏ฌ€e
ไปฅไธŠ็š„ๅ‡ ไธชPython็ฌฌไธ‰ๆ–นๅบ“้ƒฝๆ˜ฏไธ€ไบ›ๆœบๅ™จๅญฆไน ไธญ็š„้€š็”จๅบ“๏ผŒ่ฟ™ไบ›ๅบ“ๅชๆไพ›
ๅŸบ็ก€็š„ๅŠŸ่ƒฝ๏ผŒๅˆฉ็”จไป–ไปฌๅฏไปฅๅฎž็Žฐๅพˆๅคš็ฎ—ๆณ•ใ€‚ๅฆ‚ๆžœไธ€ไธช็ง‘็ ”ไบบๅ‘˜ๆฒกๆœ‰ๅคชๅคš็จ‹ๅบ
่ฎพ่ฎก็š„็ป้ชŒ๏ผŒ่€ŒๅˆๅธŒๆœ›ๅฐ†ไป–่ฎพ่ฎก็š„็ฅž็ป็ฝ‘็ปœๅœจ่ฎก็ฎ—ๆœบไธŠๅฎž็Žฐ๏ผŒ้‚ฃไนˆCa๏ฌ€eๆ˜ฏไธ€ไธช
้€‰ๆ‹ฉใ€‚Ca๏ฌ€eๆ˜ฏ็”ฑๅŠ ๅทžๅคงๅญฆไผฏๅ…‹ๅˆฉๅˆ†ๆ ก็š„Jia Yangqing ็ญ‰ไบบ็š„้ข†ๅฏผไธ‹ๅผ€ๅ‘็š„ไธ€ๅฅ—
ๅŸบไบŽCUDA็š„ๆทฑๅบฆๅญฆไน ๅทฅๅ…ท็ฎฑ
[52]
๏ผŒๅ…ถๆบไปฃ็ ็”ฑC++/CUDAๅฎž็Žฐ๏ผŒๅœจๆญคไน‹ไธŠๆไพ›
ไบ†Pythonใ€MATLABๆŽฅๅฃ๏ผŒๅนถไธ”ๅฏไปฅ้€š่ฟ‡ๅ‘ฝไปค่กŒๆ‰ง่กŒใ€‚ๅœจCa๏ฌ€eไธญ๏ผŒๅผ€ๅ‘่€…ๅทฒ็ป็ผ–
- 89 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ๅ†™ๅฅฝๅ„็งๅ„ๆ ท็š„็ฝ‘็ปœๅฑ‚็š„ไปฃ็ ๏ผŒๅฆ‚ๅ…จ่ฟžๆŽฅๅฑ‚ใ€ๅท็งฏๅฑ‚็ญ‰ใ€‚ไฝฟ็”จ่€…ๆ— ้œ€็ผ–ๅ†™ๅ…ทไฝ“็š„
ไปฃ็ ๏ผŒCa๏ฌ€e่ฎฉๆทฑๅบฆๅญฆไน ็š„็ ”็ฉถไบบๅ‘˜ไปŽๅ…ทไฝ“็š„ไปฃ็ ไธญ่งฃๆ”พๅ‡บๆฅ๏ผŒๆˆ‘ไปฌๅช้œ€่ฆๅฐ†่‡ชๅทฑ
่ฎพ่ฎก็š„็ฝ‘็ปœๆจกๅž‹ๅ†™ๆˆ้…็ฝฎๆ–‡ไปถๅณๅฏใ€‚ๅฆ‚ไปฃ็ 8.6ๆ˜ฏไธ€ไธช็ฅž็ป็ฝ‘็ปœ็š„้…็ฝฎๆ–‡ไปถไธญ็š„ไธ€
ไธช็‰‡ๆฎต
ไปฃ็  8.6 ็ฅž็ป็ฝ‘็ปœ้…็ฝฎๆ–‡ไปถ็‰‡ๆฎต
1 l a y e r s {
2 name : โ€ p o o l 1 โ€
3 t y p e : POOLING
4 b o tto m : โ€ conv1 โ€
5 t o p : โ€ p o o l 1 โ€
6 p o o l i n g p a r a m {
7 p o o l : MAX
8 k e r n e l s i z e : 3
9 s t r i d e : 2
10 }
11 }
ๅœจไปฃ็ 8.6็š„้…็ฝฎๆ–‡ไปถ็‰‡ๆฎตไธญ๏ผŒๅฎšไน‰ไบ†ไธ€ไธชๆฑ ๅŒ–ๅฑ‚ใ€‚้…็ฝฎๆ–‡ไปถ็”ฑไธค้ƒจๅˆ†็ป„ๆˆ๏ผŒ
2โˆผ5่กŒไธบๅฑžๆ€งๅฎšไน‰๏ผŒ6โˆผ10่กŒไธบๅ‚ๆ•ฐๅฎšไน‰ใ€‚ๅ…ถไธญ็ฌฌ2่กŒๅฎšไน‰ไบ†่ฟ™ๅฑ‚็š„ๅๅญ—๏ผŒ็ฌฌ3่กŒๅฎš
ไน‰ไบ†ๅฑ‚็š„็ฑปๅž‹๏ผŒ็ฌฌ4่กŒๅฎšไน‰ไบ†่ฟ™ๅฑ‚็ฝ‘็ปœ็š„ๅ‰ไธ€ๅฑ‚็ฝ‘็ปœ็š„ๅๅญ—๏ผŒ็ฌฌ5่กŒๅฎšไน‰ไบ†ๅŽไธ€ๅฑ‚
็ฝ‘็ปœ็š„ๅๅญ—๏ผˆ่ฟ™้‡Œๅฐฑๆ˜ฏๅฎƒ่‡ช่บซ๏ผ‰ใ€‚็ฌฌ7่กŒๅฎšไน‰ไบ†่ฟ™ๅฑ‚ๆฑ ๅŒ–ๅฑ‚ไฝฟ็”จ็š„ๆ˜ฏๆœ€ๅคงๆฑ ้‡‡ๆ ท๏ผŒ
็ฌฌ8่กŒๅฎšไน‰ไบ†ๅท็งฏๆ ธ็š„ๅฐบๅฏธไธบ3 ร— 3๏ผŒ็ฌฌ9่กŒๅฎšไน‰ไบ†ๅท็งฏ้—ด้š”ไธบ2ใ€‚
8.7 ๆœฌ็ซ ๅฐ็ป“
ๆœฌ็ซ ไธญ๏ผŒๆˆ‘ไปฌไป‹็ปไบ†GPU่ฎก็ฎ—๏ผŒ็”ฑไบŽๆœฌๆ–‡ๅนถไธๆ˜ฏไธ€ไธชGPU็ผ–็จ‹ๆŒ‡ๅ—๏ผŒๅ› ๆญคๆˆ‘
ไปฌไป…้™ไบŽ็ฎ€ๅ•ๅœฐไป‹็ป๏ผŒๆ›ดๅคšๅ…ณไบŽCUDA C็š„็ผ–็จ‹ๆŒ‡ๅ—ๅฏๅ‚่€ƒๆ–‡็Œฎ[53]ๅ’Œ[54]ใ€‚ๅœจๆœฌ
็ซ ็š„ๅŽๅŠ้˜ถๆฎต๏ผŒๆˆ‘ไปฌไป‹็ปไบ†ๅ‡ ไธชๅŸบไบŽCUDAๅผ€ๅ‘็š„ๅบ“๏ผŒๅ…ณไบŽ่ฟ™ๅ‡ ไธชๅบ“ๅฆ‚ไฝ•้€‰ๅ–๏ผŒ
ๅฆ‚ๆžœ้œ€่ฆ็ผ–ๅ†™็š„ไปฃ็ ๅชๅซๆœ‰็ฎ€ๅ•็š„็Ÿฉ้˜ตๆ“ไฝœ๏ผŒ้‚ฃไนˆๆˆ‘ไปฌๆŽจ่ไฝฟ็”จGnumpyๅบ“๏ผŒๅฆ‚ๆžœ
ไปฃ็ ไธญๅซๆœ‰ไธ€ไบ›ๅพˆๅคๆ‚็š„็Ÿฉ้˜ตๆ“ไฝœ๏ผŒ่€Œ่ฟ™ไบ›ๆ“ไฝœๅˆๆ˜ฏๅฏๅนถ่กŒ็š„๏ผŒ้‚ฃไนˆๆˆ‘ไปฌๆŽจ่ไฝฟ
็”จPyCUDAใ€‚่ฟ™ไธคไธชๅบ“้™คไบ†ๅฏไปฅ็”จๅœจ็ฅž็ป็ฝ‘็ปœไธญๅค–่ฟ˜ๅฏไปฅ็”จๅœจๅˆซ็š„ๆœบๅ™จๅญฆไน ็ฎ—ๆณ•
ไธŠ๏ผŒๅ› ไธบๅฎƒไปฌๆไพ›็š„ๅŠŸ่ƒฝๆ˜ฏๅฆ‚ๆญค็š„ๅŸบ็ก€ไปฅ่‡ณไบŽไฝ ๅฏไปฅไปปๆ„็ป„ๅˆๅ‡บไฝ ๅธŒๆœ›็š„ไปฃ็ ใ€‚
ๅฆ‚ๆžœๅทฅไฝœ็š„ๅ†…ๅฎนๅชๆถ‰ๅŠ็ฅž็ป็ฝ‘็ปœ๏ผŒ่€Œๅˆไธๆƒณ็ผ–ๅ†™ไปฃ็ ๏ผŒ้‚ฃไนˆๆˆ‘ไปฌๆŽจ่ไฝฟ็”จCa๏ฌ€eใ€‚
- 90 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
็ฌฌ 9 ็ซ  ๅฎž้ชŒ็Žฐ่ฑกๅŠ่ฎจ่ฎบ
ๆˆ‘ไปฌๅœจMNISTๆ•ฐๆฎ้›†ไธŠๅˆ†ๅˆซๅฎž็Žฐไบ†ๆทฑๅบฆ็ฝฎไฟก็ฝ‘็ปœไธŽๅท็งฏ็ฅž็ป็ฝ‘็ปœ๏ผŒไฝฟ็”จๆทฑๅบฆ
็ฝฎไฟก็ฝ‘็ปœ่ฎญ็ปƒๅพ—ๅˆฐ็š„ๆจกๅž‹ๅฎž็Žฐไบ†98.72% ็š„่ฏ†ๅˆซๆญฃ็กฎ็Ž‡๏ผŒไฝฟ็”จๅท็งฏ็ฅž็ป็ฝ‘็ปœๅฎž็Žฐ
ไบ†98.9%็š„่ฏ†ๅˆซๆญฃ็กฎ็Ž‡ใ€‚ๆˆ‘ไปฌๅœจCIFAR-10ๆ•ฐๆฎ้›†ไธŠๅฎž็Žฐไธ€ไธชๅท็งฏ็ฅž็ป็ฝ‘็ปœ๏ผŒๅฎž็Žฐ
ไบ†62%็š„ๆญฃ็กฎ็Ž‡๏ผŒๆญคๅค–๏ผŒ้€š่ฟ‡Ca๏ฌ€eๆต‹่ฏ•ไบ†็”ฑxxxๆๅ‡บ็š„็ฝ‘็ปœๆž„ๅž‹็š„ๅญฆไน ๆ•ˆๆžœ๏ผŒๅนถๅฐ†
ๅ…ถไธŽๆˆ‘ไปฌ็š„็ฝ‘็ปœๅญฆไน ๆ•ˆๆžœ่ฟ›่กŒๅฏนๆฏ”ใ€‚
9.1 ๆ•ฐๆฎ้›†็ฎ€ไป‹
MNISTไธŽCIFAR-10ๆ˜ฏๅญฆๆœฏ็•Œไธคไธช้‡่ฆ็š„ๆ•ฐๆฎ้›†๏ผŒ่ฟ™ไธคไธชๆ•ฐๆฎ้›†ไธ€่ˆฌไฝœไธบๆ ‡ๅ‡†
ๆ•ฐๆฎ้›†่€Œๅญ˜ๅœจ๏ผŒๆฏๅฝ“ไบบไปฌๆๅ‡บไธ€็งๆ–ฐ็š„็ฎ—ๆณ•๏ผŒ้ƒฝไผš็”จ่ฟ™ไธคไธชๆ•ฐๆฎ้›†ๅš้ชŒ่ฏ๏ผŒไธ‹้ข
ๆˆ‘ไปฌๅฐ†็ฎ€ๅ•ไป‹็ป่ฟ™ไธคไธชๆ•ฐๆฎ้›†ใ€‚
9.1.1 MNIST
MNISTๆ•ฐๆฎ้›†ๆ˜ฏไธ€ไธช็œŸๅฎžไธ–็•Œไธญ้‡‡้›†็š„ๆ‰‹ๅ†™ๆ•ฐๅญ—ๅ›พๅƒๆ•ฐๆฎ้›†
[55]
๏ผŒๅฎƒ็”ฑNISTไผš
่ฎฎๆ”ถ้›†ๅนถๆŒๆœ‰๏ผŒ่ฏป่€…ๅฏๅˆฐMNISTไธป้กตๅ…่ดน่Žทๅ–่ฏฅๆ•ฐๆฎ้›†ใ€‚่ฟ™ไธชๆ•ฐๆฎ้›†ไธ€ๅ…ฑๅซๆœ‰4ไธช
ๆ–‡ไปถ๏ผŒๅˆ†ๅˆซๅญ˜ๅ‚จ่ฎญ็ปƒๆ•ฐๆฎใ€่ฎญ็ปƒๆ ‡็ญพใ€ๆต‹่ฏ•ๆ•ฐๆฎใ€ๆต‹่ฏ•ๆ ‡็ญพใ€‚ๆ–‡ไปถไปฅไบŒ่ฟ›ๅˆถๆ–‡ไปถ
ๅฝขๅผๅญ˜ๅ‚จ๏ผŒไธ่ฟ‡ๆˆ‘ไปฌๅฏไปฅๅพˆๅฎนๆ˜“็ผ–ๅ†™ไธ€ๆฎตๅฐไปฃ็ ๅฐ†ๅ…ถ่ฝฌๆขๆˆๅ›พๅƒใ€‚่ฎญ็ปƒ้›†ๅ…ฑๅซ
ๆœ‰60000ไธชๆ ทๆœฌ๏ผŒๆต‹่ฏ•้›†ๅซๆœ‰10000ไธชๆ ทๆœฌ๏ผŒ่ฟ™ไบ›ๆ ทๆœฌๆ”ถ้›†่‡ช500ไฝไธๅŒ็š„ไบบ็š„ๆ‰‹ๅ†™
ๅญ—ไฝ“ใ€‚
ๅ›พ 9-1 MNISTๆ•ฐๆฎ้›†้ƒจๅˆ†ๆ•ฐๆฎๆ ทๆœฌ
ๆฏไธชๆ•ฐๆฎๆ ทๆœฌๆ˜ฏ28 ร— 28ๅƒ็ด ็š„็ฐๅบฆๅ›พๅƒ๏ผŒ็”ฑไบŽๅผ•ๅ…ฅไบ†ๆŠ—้”ฏ้ฝฟๆ•ˆๆžœ๏ผŒๆ‰€ไปฅๅ›พๅƒ
ๆ•ฐๅ€ผ่Œƒๅ›ดๆ˜ฏ0 โˆผ 255่€Œไธๆ˜ฏไบŒๅ€ผๅ›พๅƒใ€‚ๅ›พๅƒๅทฒ็ป็ป่ฟ‡้ข„ๅค„็†๏ผŒๅ› ๆญคๅ›พๅƒไผš้›†ไธญๅœจไธญ
- 91 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ๅฟƒ20 ร— 20็š„ๅŒบๅŸŸๅ†…๏ผŒๆญคๅค–๏ผŒๅ›พๅƒ็š„ไธญๅฟƒ็‚นไธŽๅƒ็ด ็‚น็š„้‡ๅฟƒ้‡ๅˆ๏ผŒๆ‰€ไปฅๅฆ‚ๆžœ่ฆไฝฟ็”จ
ๆจกๆฟๅŒน้…็š„ๆ–นๆณ•๏ผˆๆฏ”ๅฆ‚k่ฟ‘้‚ป๏ผŒSVM็ญ‰๏ผ‰่ฟ›่กŒๅˆ†็ฑป็š„่ฏๅฏนๅ›พๅƒๅ†่ฟ›่กŒไธ€ไบ›้ข„ๅค„็†
ไฝฟๅพ—ๆ•ฐๅญ—็š„ๅ‡ ไฝ•ไธญๅฟƒไธŽๅ›พๅƒไธญๅฟƒ้‡ๅˆไผšๆ”นๅ–„ไฝ ็š„็ฎ—ๆณ•ๆ€ง่ƒฝใ€‚
ๅฆ‚ๅ›พ9-1ๆ˜ฏMNISTๆ•ฐๆฎ้›†ไธญ็š„ไธ€ๅฐ้ƒจๅˆ†ๆ ทๆœฌ็š„ๅฑ•็คบ๏ผŒๅŽŸๅง‹็š„ๆ•ฐๆฎๅบ”่ฏฅๆ˜ฏ้ป‘ๅบ•็™ฝ
ๅญ—็š„๏ผŒไธบไบ†็พŽ่ง‚๏ผŒๆˆ‘ไปฌๅฐ†ๅ…ถ้ขœ่‰ฒๅ่ฝฌๅนถๅŠ ไธŠๅ‘จๅ›ด็š„่พนๆก†ใ€‚
9.1.2 CIFAR-10
CIFARๆ˜ฏไธ€ไธช็”ฑAlex Krizhevsky, Vinod NairไปฅๅŠGeo๏ฌ€rey Hintonๆ”ถ้›†็š„ไธ€ไธชๅซ
ๆœ‰8ๅƒไธ‡ๅผ ๅ›พ็‰‡็š„ๆ•ฐๆฎ้›†
[56]
๏ผŒ่ฟ™ไบ›ๅ›พ็‰‡ๅนถๆฒกๆœ‰็ป่ฟ‡ๆ‰‹ๅทฅๆ ‡ๆณจใ€‚่€ŒCIFAR-10ๆ˜ฏ่ฟ™ไธช
ๆ•ฐๆฎ้›†็š„ไธ€ไธชๅญ้›†๏ผŒๅซๆœ‰50000ไธช่ฎญ็ปƒๆ ทๆœฌๅ’Œ10000ไธชๆต‹่ฏ•ๆ ทๆœฌ๏ผŒ่ฟ™ไบ›ๆ ทๆœฌ็ป่ฟ‡ไบบ
ๆ‰‹ๅทฅๆ ‡ๆณจไธบ10ไธช็ฑปๅˆซ๏ผŒๅˆ†ๅˆซๆ˜ฏ้ฃžๆœบใ€ๅฐๆฑฝ่ฝฆใ€้ธŸใ€็Œซ็ญ‰
[57]
ใ€‚่ฏป่€…ๅฏไปฅไปŽCIFAR-
10็š„ๅฎ˜็ฝ‘ๅ…่ดน่Žทๅ–่ฟ™ไธชๆ•ฐๆฎ้›†๏ผŒๅฎƒๅŒ…ๅซ7ไธชๆ–‡ไปถ๏ผŒๅ…ถไธญๆœ‰5ไธชๆ–‡ไปถๆ˜ฏ่ฎญ็ปƒ้›†๏ผŒๆฏไธช
ๆ–‡ไปถๅŒ…ๅซ10000ไธช่ฎญ็ปƒๆ ทๆœฌ๏ผŒๆœ‰1ไธชๆ–‡ไปถๅญ˜ๅ‚จๆต‹่ฏ•้›†๏ผŒๅŒ…ๅซ10000ไธชๆ ทๆœฌ๏ผŒ่ฟ™ไบ›ๆ ทๆœฌ
้ƒฝ่ขซ้šๆœบๆ‰“ๆ•ฃ๏ผŒๆ‰€ไปฅไธ็”จๆ‹…ๅฟƒ็ฑปๅˆซ็š„ๅ‡บ็Žฐ้กบๅบไผšๅฏผ่‡ด็ฎ—ๆณ•ๆ€ง่ƒฝไธŠ็š„ๅทฎๅผ‚ใ€‚ๅ‰ฉไฝ™็š„
ไธ€ไธชๆ–‡ไปถๆ˜ฏๆ ‡็ญพๅ€ผไธŽ็ฑปๅˆซๅๅญ—็š„้”ฎๅ€ผๅฏนใ€‚CIFAR-10ไธบๆˆ‘ไปฌๆไพ›ไบ†ไธ‰็งๅญ˜ๅ‚จๅฝขๅผ๏ผŒ
ๅˆ†ๅˆซๅฏนๅบ”Pythonใ€MATLABไธŽไบŒ่ฟ›ๅˆถๅฝขๅผ็š„ๆ•ฐๆฎๅญ˜ๅ‚จๆ ผๅผ๏ผŒ่ฏป่€…ๅฏๆ นๆฎ่‡ชๅทฑ็š„่ฏญ
่จ€่ƒŒๆ™ฏ้€‰ๅ–ๅ…ถไธญไธ€็ง่ฟ›่กŒไธ‹่ฝฝใ€‚
ๅ›พ 9-2 CIFAR-10ๆ•ฐๆฎ้›†้ƒจๅˆ†ๆ•ฐๆฎๆ ทๆœฌ
ๆฏไธชๆ•ฐๆฎๆ ทๆœฌ้ƒฝๆ˜ฏๅคงๅฐไธบ32 ร— 32็š„ๅฝฉ่‰ฒๅ›พๅƒ๏ผŒๅ› ๆญคๆฏๅผ ๅ›พๅƒๅบ”ๅŒ…ๅซไธ‰ๅผ 32 ร—
32ๅคงๅฐ็š„็Ÿฉ้˜ต๏ผŒๅˆ†ๅˆซไปฃ่กจRใ€Gใ€Bไธ‰ไธชๅŽŸ่‰ฒ้€š้“ใ€‚ๅฆ‚ๅ›พ9-2ๆ‰€็คบๆ˜ฏ่ฟ™ไธชๆ•ฐๆฎ้›†
็š„ไธ€้ƒจๅˆ†ๆ ทๆœฌ๏ผŒๆˆ‘ไปฌๅฏไปฅ็œ‹ๅˆฐ๏ผŒ่ฟ™ไบ›ๅ›พๅƒๆ›ดๆŽฅ่ฟ‘ไบŽ็œŸๅฎž็”Ÿๆดปไธญ็š„ๅ›พๅƒ๏ผŒ็›ธๆฏ”
- 92 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ไบŽMNIST่€Œ่จ€๏ผŒๆฏไธช็ฑปๅˆซไธชไฝ“็š„ๅ›พๅƒๅทฎๅผ‚่พƒๅคง๏ผŒ่€ŒไธๅƒMNISTไธญๆฏไธช็ฑปๅˆซ็š„ไธชไฝ“
ๅทฎๅผ‚่พƒๅฐ๏ผŒๆ‰€ไปฅๅœจCIFAR-10ๆ•ฐๆฎ้›†ไธญไฝฟ็”จๆจกๆฟๅŒน้…็š„ๆ–นๆณ•่ฟ›่กŒๅˆ†็ฑปๆ˜ฏๅ‡ ไนŽไธๅฏ่ƒฝ
็š„ใ€‚
9.2 ๆทฑๅบฆ็ฝฎไฟก็ฝ‘็ปœๅœจMNISTๆ•ฐๆฎ้›†ไธŠ็š„ๆ€ง่ƒฝ
ๅœจMNISTๆ•ฐๆฎ้›†ไธŠ๏ผŒๆˆ‘ไปฌ่ฎพ่ฎกไบ†ไธ€ไธช7ๅฑ‚็ฅž็ป็ฝ‘็ปœ๏ผŒๆฏๅฑ‚ๆ‰€ๅซ็š„่Š‚็‚นๅˆ†ๅˆซ
ๆ˜ฏ784ใ€621ใ€982ใ€600ใ€410ใ€569ใ€10๏ผŒๆœ€ๅบ•ๅฑ‚็š„่Š‚็‚นๆ•ฐๆ˜ฏๆ นๆฎๅŽŸๅง‹ๆ•ฐๆฎ่พ“ๅ…ฅ็ปด
ๅบฆๅ†ณๅฎš็š„๏ผŒๅณ28 ร— 28 = 784๏ผŒๆœ€้กถๅฑ‚็š„่Š‚็‚นๆ•ฐๆ˜ฏๆ นๆฎๆœ€็ปˆ็š„็ฑปๅˆซๅ†ณๅฎš็š„๏ผŒๅณ10ไธช
็ฑปๅˆซใ€‚ไธญ้—ด็š„้šๅซๅฑ‚่Š‚็‚นๆˆ‘ไปฌ้šๆ„้€‰ๅ–๏ผŒ่ฟ™ไบ›่Š‚็‚นๆ˜ฏๅฆ‚ๆญค็š„้šๆ„ไปฅ่‡ณไบŽๆบ่‡ชๆˆ‘็š„
้“ถ่กŒๅกๅทใ€‚ๅœจๆทฑๅบฆ็ฝฎไฟก็ฝ‘็ปœไธญ๏ผŒๅฏน้šๅซ่Š‚็‚นๅนถๆฒกๆœ‰่ฟ‡ๅคš็š„่ฆๆฑ‚๏ผŒๅคง่‡ดๅˆ็†ๅณๅฏใ€‚
ๆ•ดไธช็ฝ‘็ปœๅฏไปฅ็œ‹ๅš5ไธชๅ—้™็Žปๅฐ”ๅ…นๆ›ผๆœบๅ ๅŠ ็ป„ๆˆ๏ผŒๅˆ†ๅˆซๆ˜ฏ784โˆผ621๏ผŒ621โˆผ982๏ผŒ
ยทยทยท๏ผŒ410โˆผ569๏ผŒๆœ€ๅŽไธ€ๅฑ‚569โˆผ10ๆ˜ฏsoftmaxๅˆ†็ฑปๅ™จใ€‚ๅœจๆ•ดไธช็ฝ‘็ปœ็š„่ฎญ็ปƒ่ฟ‡็จ‹ไธญ๏ผŒๆˆ‘
ไปฌๅ…ˆไพๆฌกๅฏนๅ…ถไธญ็š„5ไธชๅ—้™็Žปๅฐ”ๅ…นๆ›ผๆœบๅš่ดชๅฉช่ฎญ็ปƒ๏ผŒๅณๅ…ˆ่ฎญ็ปƒ784โˆผ621็š„ๅ—้™็Žปๅฐ”
ๅ…นๆ›ผๆœบ๏ผŒ่ฎญ็ปƒๅฎŒๆฏ•ๅŽๅฐ†ๆ‰€ๆœ‰็š„ๆ ทๆœฌ๏ผˆ60000ไธช๏ผ‰้€š่ฟ‡่ฟ™ไธช่ฎญ็ปƒๅฎŒๆฏ•็š„ๅ—้™็Žปๅฐ”ๅ…นๆ›ผ
ๆœบๅ‰ๅ‘ไผ ๆ’ญ๏ผŒๅพ—ๅˆฐ60000ไธช621็ปด็š„ๆ•ฐๆฎๆ ทๆœฌ๏ผŒ็”จ่ฟ™ไบ›็ปดๅบฆๅ˜ๆขๅŽ็š„ๆ ทๆœฌ่ฎญ็ปƒไธ‹ไธ€
ไธช๏ผŒๅณ621โˆผ982็š„ๅ—้™็Žปๅฐ”ๅ…นๆ›ผๆœบ๏ผŒไปฅๆญค็ฑปๆŽจใ€‚ๆœ€ๅŽ็š„softmaxๅˆ†็ฑปๅ™จๅ…ถ้ข„่ฎญ็ปƒๆ˜ฏ
ๅฐ†ๅ…ถๅฝ“ๅšไธ€ไธชไธคๅฑ‚softmax็ฝ‘็ปœ่ฟ›่กŒ้ข„่ฎญ็ปƒใ€‚
่ง‚ๅฏŸๅ—้™็Žปๅฐ”ๅ…นๆ›ผๆœบ็š„ๆƒๅ€ผๆ›ดๆ–ฐๅ…ฌๅผ(4-43)ใ€(4-44)ไปฅๅŠ(4-45)๏ผŒไธบไบ†ๆ–นไพฟๅคงๅฎถ
่ง‚ๅฏŸ๏ผŒๆˆ‘ไปฌๅฐ†่ฟ™ไธ‰ไธชๅ…ฌๅผๅ†ไนฆๅ†™ไธ€ๆฌก
โˆ‚ ln P(v)
โˆ‚w
i, j
โ‰ˆ P(h
i
= 1|v
(0)
)v
(0)
j
โˆ’ P(h
i
= 1|v
(k)
)v
(k)
j
(9-1)
โˆ‚ ln P(v)
โˆ‚b
vi
โ‰ˆ v
(0)
j
โˆ’ v
(k)
j
(9-2)
โˆ‚ ln P(v)
โˆ‚b
i
โ‰ˆ P(h
i
= 1|v
(0)
) โˆ’ P(h
i
= 1|v
(k)
) (9-3)
่ฟ™ไธ‰ไธชๅ…ฌๅผ่ƒŒๅŽ้š่—็€ไธ€ๅฑ‚้‡ๆž„็š„ๅซไน‰๏ผŒๅณๅฏนไบŽไธ€ไธชไธคๅฑ‚็š„ๅ—้™็Žปๅฐ”ๅ…นๆ›ผๆœบ๏ผŒ
ๅœจ็ฌฌไธ€ๅฑ‚็š„ๆ•ฐๆฎ้€š่ฟ‡ๅ‰ๅ‘ไผ ๆ’ญๅพ—ๅˆฐ็ฌฌไบŒๅฑ‚็š„ๆ•ฐๆฎ๏ผŒ็ฌฌไบŒๅฑ‚็š„ๆ•ฐๆฎๅๅ‘ๆณจๅ…ฅๅพ—ๅˆฐ็ฌฌ
ไธ€ๅฑ‚็š„ๆ•ฐๆฎ๏ผŒๆ•ฐๆฎ็ป่ฟ‡่ฟ™ๆ ทไธ€ไธช่ฟ็งป๏ผŒ็›ธๅฝ“ไบŽๅˆฉ็”จๆๅ–็š„็‰นๅพ้‡ๆž„ๅŽŸๅง‹ๆ ทๆœฌ๏ผŒๅ› 
ๆญคๅœจๅ—้™็Žปๅฐ”ๅ…นๆ›ผๆœบ็š„่ฎญ็ปƒ่ฟ‡็จ‹ไธญ๏ผŒไธ€ไธชๅˆป็”ปๅ…ถ่ฎญ็ปƒๆƒ…ๅ†ต็š„ๆ–นๆณ•ๆ˜ฏ่ทŸ่ธชๅ…ถ้‡ๆž„่ฏฏ
ๅทฎ๏ผŒๅฆ‚ๅ›พ9-3ๆ‰€็คบๆ˜ฏๆŸไธ€ๅฑ‚ๅ—้™็Žปๅฐ”ๅ…นๆ›ผๆœบ็š„้‡ๆž„่ฏฏๅทฎไธ‹้™ๆ›ฒ็บฟใ€‚
- 93 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ๅ›พ 9-3 ๅ—้™็Žปๅฐ”ๅ…นๆ›ผๆœบ้‡ๆž„่ฏฏๅทฎไธ‹้™ๆ›ฒ็บฟ
ไปŽๅ›พ9-3ไธญๆˆ‘ไปฌไธ้šพๅ‘็Žฐ๏ผŒ่ฎญ็ปƒ็š„ๅ‰10ไธชๅ‘จๆœŸ้‡ๆž„่ฏฏๅทฎ่ฟ…้€Ÿไธ‹้™๏ผŒ้šๅŽ็š„ๅ‘จๆœŸ
ไธ‹้™้€Ÿๅบฆ็ผ“ๆ…ข๏ผŒๅ› ๆญคๅฆ‚ๆžœไฝ ็š„ๅฎž้ชŒๆ—ถ้—ดๆœ‰้™๏ผŒ้‚ฃไนˆๅฏไปฅๅช่ฎญ็ปƒ่พƒๅฐ‘็š„ๅ‘จๆœŸๅณๅฏ๏ผŒ
ไฝ†่ฎญ็ปƒๆ›ดๅคš็š„ๅ‘จๆœŸไผšๆœ‰ๅŠฉไบŽ่Žทๅ–ๆ›ดๅฅฝ็š„ๅฎž้ชŒ็ป“ๆžœใ€‚้œ€่ฆๆๅˆฐ็š„ไธ€็‚นๆ˜ฏ๏ผŒๅœจๅ—้™็Žป
ๅฐ”ๅ…นๆ›ผๆœบ็š„่ฎญ็ปƒไธญ๏ผŒๅŠจ้‡้กนๆ˜ฏๅฟ…้กป็š„๏ผŒๆˆ‘ไปฌๅœจๅฎž้ชŒไธญๅ‘็Žฐ๏ผŒไธไฝฟ็”จๅŠจ้‡้กนๆ—ถ๏ผŒๅœจ
่ฎญ็ปƒ็š„ๅˆๅง‹้˜ถๆฎต้‡ๆž„่ฏฏๅทฎๆ— ๆณ•ไธ‹้™ใ€‚
ๆˆ‘ไปฌ่ฟ˜่ฟฝ่ธชไบ†ๅ—้™็Žปๅฐ”ๅ…นๆ›ผๆœบๅฏนๅ›พๅƒ็š„ๅ…ทไฝ“้‡ๆž„๏ผŒๅฆ‚ๅ›พ9-4ๆ‰€็คบๆ˜ฏไธ€ไบ›ๆ ทๆœฌ
ๅœจ784โˆผ621็š„ๅ—้™็Žปๅฐ”ๅ…นๆ›ผๆœบไธญ็š„้‡ๆž„ๆƒ…ๅ†ต๏ผŒๅŽŸๅง‹ๆ ทๆœฌไธŽ้‡ๆž„ๆ ทๆœฌๆˆ‘ไปฌๅทฒๅœจๅ›พไธญ
ๆ ‡ๆณจใ€‚้œ€่ฆๆ้†’็š„ๆ˜ฏ๏ผŒๅ›พ9-4ไธญ็š„ๅŽŸๅง‹ๅ›พๅƒไธŽๅ›พ9-1ไธญ็š„ๅŽŸๅง‹ๅ›พๅƒไธไธ€่‡ด๏ผŒ่ฟ™ๆ˜ฏๅ› 
ไธบๅ›พ9-1ไธญ็š„ๆ ทๆœฌๆฏไธชๅƒ็ด ็‚นๅ–ๅ€ผๆ˜ฏ0 โˆผ 255๏ผŒ่€Œๆˆ‘ไปฌๅฐ†่ฟ™ไบ›ๅƒ็ด ็‚น01ๅŒ–๏ผŒๆ‰€ไฝฟ็”จ
็š„ๆ–นๆณ•ๆ˜ฏ๏ผŒๅฏนๆฏไธชๅƒ็ด ็‚น้™คไปฅ255ๅพ—ๅˆฐไธ€ไธช[0,1]ๅŒบ้—ด็š„ๅฐๆ•ฐp๏ผŒไปฅๆ•ฐๅ€ผpไธบๆฆ‚็Ž‡ๅฐ†ๅ…ถ
็ฝฎ1๏ผŒไปฅ1 โˆ’ pไธบๆฆ‚็Ž‡ๅฐ†ๅ…ถ็ฝฎ0ใ€‚ๅฆไธ€็ง01ๅŒ–็š„ๆ–นๆณ•ๆ˜ฏ๏ผŒ็›ดๆŽฅไฟ็•™่ฟ™ไธชๅฐๆ•ฐ่€Œไธๅฐ†ๅ…ถ
็ฆปๆ•ฃๅŒ–ใ€‚
ๅ›พ 9-4 ๅ—้™็Žปๅฐ”ๅ…นๆ›ผๆœบๅฏนๆ•ฐๅญ—็š„้‡ๆž„
ๆœ€้กถๅฑ‚็š„softmaxๅˆ†็ฑปๅ™จ็š„่ฎญ็ปƒไนŸๆ˜ฏ่ดชๅฉช็š„๏ผŒๅณๅฎƒๅช่ฎญ็ปƒ569โˆผ10ไธคๅฑ‚็ฝ‘็ปœไน‹้—ด
็š„ๅ‚ๆ•ฐ๏ผŒๅœจ่ฟ™้‡Œ๏ผŒ่ฎญ็ปƒๅ‘จๆœŸๆˆ‘ไปฌไธๅปบ่ฎฎๅคช้•ฟ๏ผŒไธ€่ˆฌ่ฎญ็ปƒ5โˆผ10ไธชๅ‘จๆœŸๅณๅฏ๏ผŒๅฆๅˆ™ๅœจ
- 94 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
้šๅŽ็š„ๆ–นๅ‘ไผ ๆ’ญ่ฟ‡็จ‹ไธญ๏ผŒๅฆ‚ๆžœsoftmax้ข„่ฎญ็ปƒ่ฟ‡ไน…๏ผŒๅˆ™็ฝ‘็ปœ็š„่พ“ๅ‡บ่ฏฏๅทฎ่พƒๅฐ๏ผŒๆฒกๆœ‰
่ฏฏๅทฎๅฐฑ้šพไปฅ่ฟ›่กŒๅๅ‘ไผ ๆ’ญ๏ผŒๅ…จๅฑ€ๅพฎ่ฐƒๅฎนๆ˜“ๅคฑ่ดฅ๏ผŒ่ฟ™ไผšๅฏผ่‡ด็ฝ‘็ปœ้™ทๅ…ฅๅฑ€้ƒจๆœ€ไผ˜่งฃ๏ผŒ
่ฟ™ไธชๅฑ€้ƒจๆœ€ไผ˜็”ฑๆœ€้กถๅฑ‚็š„softmaxๅ†ณๅฎš่€Œไธๆ˜ฏๆ•ดไธช็ฝ‘็ปœๅ†ณๅฎšใ€‚
ๅฝ“ๆ•ดไธช็ฝ‘็ปœ้ข„่ฎญ็ปƒๅฎŒๆฏ•ๅŽ๏ผŒๆˆ‘ไปฌๆ‰ง่กŒๅ…จๅฑ€็š„ๅๅ‘ไผ ๆ’ญ็ฎ—ๆณ•ๅฏนๅ‚ๆ•ฐ่ฟ›่กŒๅพฎ่ฐƒ๏ผŒ
่ฟ™ไธช่ฟ‡็จ‹ไธŽไผ ็ปŸ็š„็ฅž็ป็ฝ‘็ปœ็›ธๅŒ๏ผŒๆˆ‘ไปฌไธ่ฟ›่กŒ่ฟ‡ๅคš็š„ๅ™่ฟฐ๏ผŒๅฆ‚ๅ›พ9-5ๆ‰€็คบๆ˜ฏๆ•ดไธช็ฝ‘
็ปœ่ฟ›่กŒๅๅ‘ไผ ๆ’ญๆ—ถ็š„่ฏฏๅทฎไธ‹้™ๆ›ฒ็บฟ
ๅ›พ 9-5 ๆทฑๅบฆ็ฝฎไฟก็ฝ‘็ปœ่ฏฏๅทฎไธ‹้™ๆ›ฒ็บฟ
็ป†ๅฟƒ็š„่ฏป่€…ไผšๅ‘็Žฐ๏ผŒๅ›พ9-5็š„ไธ‹้™ๆ›ฒ็บฟ่กจๆ˜Žๆœ€็ปˆ่ฟ™ไธช็ฝ‘็ปœๅนถๆฒกๆœ‰ๆ”ถๆ•›ๅˆฐๆˆ‘ไปฌ
ๅท็งฐ็š„ๆญฃ็กฎ็Ž‡98.72%๏ผŒ็กฎๅฎžๅฆ‚ๆญค๏ผŒๅ› ไธบๆˆ‘ไปฌๅœจๆ•ฐๆฎ่ฟ็งปๆ—ถ้—ๅคฑไบ†ไธ€้ƒจๅˆ†็š„ๆ•ฐๆฎ๏ผŒ
ๅ›พ9-5ไธญ็š„ๆ•ฐๆฎๆ˜ฏๅ‰ๆœŸ็ ”็ฉถๅทฅไฝœไธญๆฒกๆœ‰้—ๅคฑ็š„ๆ•ฐๆฎ๏ผŒๅ› ๆญค่ฟ™ๅนถไธๆ˜ฏๆœ€็ปˆ็š„่ฏฏๅทฎไธ‹้™
ๆ›ฒ็บฟใ€‚ไฝ†ๆ˜ฏๆˆ‘ไปฌ็š„ๅฎž้ชŒๆ˜ฏๅฏ้‡็Žฐ็š„๏ผŒๅช้œ€ๆŒ‰็…งๆˆ‘ไปฌ็š„็ป“ๆž„ไพฟๅฏๅ†็Žฐ98.72% ็š„ๆญฃ็กฎ
็Ž‡๏ผŒ็”ฑไบŽๆˆ‘ไปฌ็š„ๆ—ถ้—ดๆœ‰้™๏ผŒๅนถๆฒกๆœ‰ๅฐ†่ฟ™ไธชๅฎž้ชŒ้‡ๆ–ฐๅšไธ€้๏ผŒๆ„Ÿๅ…ด่ถฃ็š„่ฏป่€…ๅฏไปฅๅฐ
่ฏ•ใ€‚
็ฝ‘็ปœ่ฎญ็ปƒๅฎŒๆฏ•ๅŽ๏ผŒๆˆ‘ไปฌ้€‰ๅ–ไบ†ไธ€้ƒจๅˆ†็ฝ‘็ปœ่ฏ†ๅˆซ้”™่ฏฏ็š„ๆ•ฐๅญ—๏ผŒๅฐ†ๅ…ถๅฑ•็คบๅœจ
ๅ›พ9-6ไธญ๏ผŒๆฏไธชๆ ทๆœฌไธ‹่พน็š„้ป‘่‰ฒๆ•ฐๅญ—ไปฃ่กจๆต‹่ฏ•้›†็ป™ๅฎš็š„ๆ ‡็ญพ๏ผŒ่€Œ็บข่‰ฒๆ•ฐๅญ—ไปฃ่กจ็ฝ‘็ปœ
็š„้ข„ๆต‹ๆ ‡็ญพใ€‚ๆˆ‘ไปฌๅฏไปฅๅ‘็Žฐ๏ผŒ่ฟ™ไบ›้”™่ฏฏ็š„ๆ ทๆœฌไธญ๏ผŒๆœ‰ไธ€้ƒจๅˆ†่‡ช่บซๅฐฑๅธฆๆœ‰ไบŒไน‰ๆ€ง๏ผŒ
ไบบไนŸ้šพไปฅๅŒบๅˆ†็ฉถ็ซŸๆ˜ฏๅ“ชไธชๆ•ฐๅญ—๏ผŒ่€Œๆœ‰ไธ€้ƒจๅˆ†ๆ ทๆœฌไบบๅฏไปฅๅพˆๅฎนๆ˜“่ฏ†ๅˆซ๏ผŒ็ฝ‘็ปœๅด่ฏ†ๅˆซ
้”™่ฏฏ๏ผŒ่ฟ˜ๆœ‰ไธ€้ƒจๅˆ†ๆ ทๆœฌๆ•ฐๆฎๆœฌๆฅๅฐฑๆ˜ฏ้”™่ฏฏ็š„๏ผŒๆ นๆœฌๆ— ๆณ•่ฏ†ๅˆซๅฎƒๆ˜ฏๅ“ชไธชๆ•ฐๅญ—๏ผŒ่ฟ™ๆ—ถ
ๅ€™ๆˆ‘ไปฌไธ่ƒฝ่ˆๅผƒๆœบๅ™จไนŸ่ƒฝๅฐ†ๅ…ถ่ฏ†ๅˆซๅ‡บๆฅใ€‚
ๅœจๆ•ดไธช็ฝ‘็ปœ็š„่ฎญ็ปƒไธญ๏ผŒๆˆ‘ไปฌไฝฟ็”จไบ†ๅŠจ้‡้กนใ€ๆƒ่กฐๅ‡ๆŠ€ๆœฏ๏ผŒ่€Œๆฒกๆœ‰ๆฒกๆœ‰ไฝฟ็”จ้™
็ปดๆŠ€ๆœฏ๏ผŒๅ› ไธบๆ•ฐๆฎ็ปดๅบฆๅนถไธๆ˜ฏ็‰นๅˆซ้ซ˜๏ผŒ่ฎก็ฎ—ๆœบ็š„ๅค„็†่ƒฝๅŠ›่ถณไปฅๅบ”ไป˜ใ€‚ๅฆ‚ๆžœๅŽŸๅง‹ๆ•ฐ
ๆฎ็š„็ปดๅบฆ้žๅธธ้ซ˜๏ผŒๆฏ”ๅฆ‚ๅ‡ ็™พไธ‡็ปด๏ผŒ้‚ฃไนˆๅฐฑ้œ€่ฆ้‡‡็”จไธ€ไบ›้™็ปดๆŠ€ๆœฏๅฐ†ๅŽŸๅง‹ๆ•ฐๆฎ่ฟ›่กŒ
ๅŽ‹็ผฉใ€‚
- 95 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ๅ›พ 9-6 ่ขซ็ฝ‘็ปœ่ฏฏๅˆ†็ฑป็š„ๆ ทๆœฌ
ๆทฑๅบฆ็ฝฎไฟก็ฝ‘็ปœๅœจไธ€ๅฎš็จ‹ๅบฆไธŠไป็„ถๅธฆๆœ‰ๆจกๆฟๅŒน้…็š„ๆฐ”ๆฏ๏ผŒๅ› ไธบๆˆ‘ไปฌๅฆ‚ๆžœๅชไฝฟ
็”จ2000ไธชๆ ทๆœฌไฝœไธบ่ฎญ็ปƒ้›†่€Œไธๆ˜ฏๅ…จ้ƒจ็š„60000ไธชๆ ทๆœฌ๏ผŒ็ฝ‘็ปœไนŸ่ƒฝๅฎž็Žฐ90ๅคš็š„ๆญฃ็กฎ
็Ž‡๏ผŒๅŽ้ขไธญ็š„ๅฎž้ชŒไธญๆˆ‘ไปฌไผš็œ‹ๅˆฐ๏ผŒ่ฟ™็ง็ญ–็•ฅๅœจๅท็งฏ็ฅž็ป็ฝ‘็ปœไธญๆ˜ฏ่กŒไธ้€š็š„ใ€‚
9.3 ๅท็งฏ็ฅž็ป็ฝ‘็ปœๅœจMNISTๆ•ฐๆฎ้›†ไธŠ็š„ๆ€ง่ƒฝ
ๅœจMNISTๆ•ฐๆฎ้›†๏ผŒๆˆ‘ไปฌ่ฎพ่ฎกไบ†ไธ€ไธช6ๅฑ‚ๅท็งฏ็ฝ‘็ปœ๏ผŒๅ…ถ็ฝ‘็ปœๆž„ๅž‹ๆ่ฟฐๅฆ‚ไธ‹
โ€ข 1ๅผ 28 ร— 28็š„ๅŽŸๅง‹ๅ›พๅƒ
โ€ข ๅท็งฏๅŽŸๅง‹ๅ›พๅƒๅพ—ๅˆฐ6ๅผ 24 ร— 24็‰นๅพๅ›พ
โ€ข ๅฏน6ๅผ ็‰นๅพๅ›พ่ฟ›่กŒ้‡‡ๆ ทๅพ—ๅˆฐ6ๅผ 12 ร— 12็‰นๅพๅ›พ
โ€ข ๅฏน6ๅผ ็‰นๅพๅ›พ่ฟ›่กŒๅท็งฏๅพ—ๅˆฐ12ๅผ 8 ร— 8็‰นๅพๅ›พ
โ€ข ๅฏน12ๅผ ็‰นๅพๅ›พ่ฟ›่กŒ้‡‡ๆ ทๅพ—ๅˆฐ12ๅผ 4 ร— 4็‰นๅพๅ›พ
โ€ข ๆญคๆ—ถ12ๅผ 4 ร— 4็‰นๅพๅ›พๆ— ๆณ•ๅ†่ฟ›่กŒๅท็งฏ๏ผŒๅฐ†ๅ…ถๅฑ•ๅผ€ๅพ—ๅˆฐ192ไธช่Š‚็‚น
โ€ข 192ไธช่Š‚็‚นไธŽ10ไธช่พ“ๅ‡บ่Š‚็‚นๅšๅ…จ่ฟžๆŽฅ็ฝ‘็ปœ๏ผŒไธŽไผ ็ปŸ็ฅž็ป็ฝ‘็ปœไธ€ๆ ท
ๅ…ถไธญ๏ผŒๆฟ€ๆดปๅ‡ฝๆ•ฐๆˆ‘ไปฌ้€‰ๅ–็š„ๆ˜ฏsigmoidๅ‡ฝๆ•ฐ๏ผŒๅฝ“็„ถ่ฟ™ไธชๅ‡ฝๆ•ฐไนŸๅฏไปฅๆขๆˆReLUๅ‡ฝ
ๆ•ฐ๏ผŒๅ…จ่ฟžๆŽฅ็ฝ‘็ปœๆˆ‘ไปฌ้‡‡็”จๅนณๆ–น่ฏฏๅทฎไฝœไธบๅ‡†ๅˆ™๏ผŒ่€Œไธๆ˜ฏๆทฑๅบฆ็ฝฎไฟก็ฝ‘็ปœไธญ็š„softmaxๅˆ†
็ฑปๅ™จใ€‚ๅœจ่ฟ™ไธช็ฝ‘็ปœไธญ๏ผŒๆˆ‘ไปฌไธ้‡‡็”จ้ข„่ฎญ็ปƒ่€Œๆ˜ฏ็›ดๆŽฅ่ฟ›่กŒๅ…จๅฑ€็š„ๅๅ‘ไผ ๆ’ญใ€‚ไปฅไธŠ็š„
็ฝ‘็ปœๆž„ๅž‹็š„้€‰ๅ–ๆ–นๆกˆ้ƒฝๆ˜ฏ้šๆ„็š„๏ผŒๅนถๆฒกๆœ‰่ฏดไธ€ๅฎš่ฆ้‡‡็”จ่ฟ™ไธชๆ–นๆกˆใ€‚
ๅฎž ้ชŒ ่Žท ๅ– ็š„ ่ฎญ ็ปƒ ่ฏฏ ๅทฎ ๅŠ ๆต‹ ่ฏ• ่ฏฏ ๅทฎ ๆ›ฒ ็บฟ ๅฆ‚ ๅ›พ9-7ๆ‰€ ็คบ๏ผŒ่ฎญ ็ปƒ ๅฎŒ ๆฏ• ๅŽ๏ผŒๆˆ‘ ไปฌ
ๅœจMNISTไธŠๅ–ๅพ—ไบ†98.9%็š„ๆญฃ็กฎ็Ž‡ใ€‚ๆˆ‘ไปฌๅฏไปฅ็œ‹ๅˆฐ๏ผŒๅœจ็ฝ‘็ปœ่ฎญ็ปƒ็š„ๅ‰20ไธชๅ‘จๆœŸ๏ผŒ
่ฎญ็ปƒ่ฏฏๅทฎไธŽๆต‹่ฏ•่ฏฏๅทฎ่ฟ…้€Ÿไธ‹้™๏ผŒ้šๅŽ็š„ๅ‘จๆœŸไธญ่ฏฏๅทฎ็ผ“ๆ…ขไธ‹้™๏ผŒๅˆฐไบ†ๅŽๆœŸ๏ผŒๆ”ถๆ•›ๅ
ๅˆ†็ผ“ๆ…ข๏ผŒไฝ†ไพ็„ถไผšๆœ‰ไธ‹้™็š„่ถ‹ๅŠฟใ€‚ๆœ‰ๆ„ๆ€็š„ๆ˜ฏ๏ผŒๅฏน็ฝ‘็ปœ่ฎญ็ปƒไธ€ไธชๅพˆ้•ฟ็š„ๅ‘จๆœŸๅนถไธ
- 96 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ไผšไบง็”Ÿๆ˜Žๆ˜พ็š„่ฟ‡ๅญฆไน ็Žฐ่ฑก๏ผŒๆ‰€ไปฅๅฆ‚ๆžœไฝ ้œ€่ฆๅฎž็Žฐไธ€ไธช้ซ˜่ฏ†ๅˆซ็Ž‡็š„็ฝ‘็ปœ๏ผŒ้‚ฃไนˆไฝ ๅฏ
ไปฅๆ”พๅฟƒๅœฐ็ญ‰ๅพ…ไธ€ๆฎตๅพˆ้•ฟ็š„็š„ๆ—ถ้—ดใ€‚
ๅ€ผๅพ—ๆณจๆ„็š„ๆ˜ฏ๏ผŒ่ฏฏๅทฎไธ‹้™่ฟ‡็จ‹ๅธฆๆœ‰ๆ˜Žๆ˜พ็š„ๆณขๅŠจๆ€ง๏ผŒๅœจๆทฑๅบฆ็ฝฎไฟก็ฝ‘็ปœ็š„่ฎญ็ปƒ
่ฟ‡็จ‹ไธญ๏ผŒไธ€่ˆฌๅˆฐไบ†่ฎญ็ปƒ็š„ๅŽๆœŸ๏ผŒ่ฏ†ๅˆซ็Ž‡ไธไผšๆœ‰ๅคชๅคง็š„ๆณขๅŠจ๏ผŒๆฏ”ๅฆ‚๏ผŒๆทฑๅบฆ็ฝฎไฟก็ฝ‘
็ปœๅœจๅˆฐ่พพ98.70%็š„ๆญฃ็กฎ็Ž‡ๅŽ๏ผŒๅ…ถๆณขๅŠจ่Œƒๅ›ดๅฐฑๅœจ98.70%้™„่ฟ‘ๆณขๅŠจ๏ผŒๅฏ่ƒฝๆ˜ฏ98.73%ใ€
98.74%ใ€‚็„ถ่€Œ๏ผŒๅœจๅท็งฏ็ฝ‘็ปœไธญ๏ผŒๅˆฐ่พพ98.70%ๅŽ๏ผŒๅฎƒๅฏ่ƒฝไธ€ไธ‹ๅญ่ทŒๅˆฐ98.40%๏ผŒ็„ถๅŽ
ๅˆๅ‡ๅˆฐ98.80%๏ผŒ่ฟ™็ง่พƒๅคง่Œƒๅ›ด็š„ๆณขๅŠจ๏ผŒๅบ”่ฏฅไธๆ˜ฏ้šๆœบๆขฏๅบฆ้€ ๆˆ็š„๏ผŒๅ› ไธบๆทฑๅบฆ็ฝฎไฟก
็ฝ‘็ปœไธญๆˆ‘ไปฌ้‡‡ๅ–้šๆœบๆขฏๅบฆๆ›ดๆ–ฐๆ—ถไนŸๆฒกๆœ‰่ฟ™ไนˆๅคง็š„ๆณขๅŠจ๏ผŒๆˆ‘ไปฌๆŽจๆต‹่ฟ™ๆ˜ฏๅ› ไธบๅท็งฏ็ฝ‘
็ปœไปฃ่กจ็€ไธ€็ง้žๅธธๅผบ็š„ๆƒฉ็ฝš๏ผˆๅผบ่ฟซๆƒๅ€ผๅ…ฑไบซ๏ผ‰๏ผŒๆƒฉ็ฝš่ฟ‡ๅคงๅฏผ่‡ดๆณขๅŠจๅ˜ๅคงใ€‚
ๅ›พ 9-7 ๅท็งฏ็ฅž็ป็ฝ‘็ปœ่ฎญ็ปƒ่ฏฏๅทฎๅŠๆต‹่ฏ•่ฏฏๅทฎ
ๅœจๅฎž้ชŒไธญ๏ผŒๆˆ‘ไปฌๅนถๆฒกๆœ‰้‡‡็”จๆƒ่กฐๅ‡๏ผŒๅ› ไธบๆˆ‘ไปฌๅ‘็Žฐไฝฟ็”จๆƒ่กฐๅ‡ๅŽ็ฝ‘็ปœ็š„ๆ€ง่ƒฝ
ๅ˜ๅทฎใ€‚ๆญคๅค–๏ผŒๆˆ‘ไปฌๅ‘็Žฐๅฝ“ๆ”นๅ˜็ฝ‘็ปœไธญ็š„ไธ€ไบ›ๅ‚ๆ•ฐ๏ผŒๆฏ”ๅฆ‚็‰นๅพๅ›พ็š„ๅผ ๆ•ฐ๏ผŒๅญฆไน ็Ž‡ๆ—ถ๏ผŒ
ๅฏน็ฝ‘็ปœ็š„ๆ”ถๆ•›ๅฝฑๅ“่พƒๅคง๏ผŒไฝ†ๅฏนๆœ€็ปˆ็ป“ๆžœๅนถๆฒกๆœ‰ๅคชๅคงๅฝฑๅ“ใ€‚ๅท็งฏ็ฝ‘็ปœๅฏนๆ ทๆœฌ็š„้œ€ๆฑ‚
้‡้žๅธธๅคง๏ผŒๅฎž้ชŒไธญ๏ผŒๆˆ‘ไปฌ้€‰ๅ–2000ไธชๆ ทๆœฌไฝœไธบ่ฎญ็ปƒ้›†ๅฏน็ฝ‘็ปœ่ฟ›่กŒ่ฎญ็ปƒ๏ผŒ็ฝ‘็ปœๅฎŒๅ…จ
ไธไผšๆ”ถๆ•›๏ผŒ่ฟ™ไธŽๆทฑๅบฆ็ฝฎไฟก็ฝ‘็ปœๆ˜ฏไธไธ€ๆ ท็š„๏ผŒๅชๆœ‰ๆˆ‘ไปฌๅฐ†ๆ‰€ๆœ‰็š„60000ไธชๆ ทๆœฌไฝœไธบ
่ฎญ็ปƒ้›†ๅฏน็ฝ‘็ปœ่ฟ›่กŒ่ฎญ็ปƒๆ—ถ๏ผŒ็ฝ‘็ปœๆ‰ๅผ€ๅง‹ๆ”ถๆ•›ใ€‚ๆˆ‘ไปฌไผฐ่ฎก่ฟ™ๆ˜ฏๅ› ไธบๅท็งฏ็ฝ‘็ปœ็š„ๆƒๅ€ผ
ๅ…ฑไบซๅฏผ่‡ดๅฎƒๅชๆœ‰้€š่ฟ‡ๅคง้‡็š„ๆ ทๆœฌๆ‰่ƒฝๅญฆไน ็‰นๅพ๏ผŒ่ฟ™ไธŽๆจกๆฟๅŒน้…ๆ–นๆณ•ๆœ‰็€ๅพˆๅคง็š„ๅŒบ
ๅˆซใ€‚
็ฝ‘็ปœ่ฎญ็ปƒๅฎŒๆฏ•ๅŽ๏ผŒๆˆ‘ไปฌๅฏนๆต‹่ฏ•้›†ไธญ็š„ไธ€้ƒจๅˆ†ๆ•ฐๆฎ่ฟ›่กŒ่ง‚ๅฏŸ๏ผŒ็ฌฌไธ€ๅฑ‚ๅท็งฏๅฑ‚ๆ
ๅ–ๅ‡บ็š„็‰นๅพๅฆ‚ๅ›พ9-8 a)ๆ‰€็คบใ€‚ๆˆ‘ไปฌๅˆ†ๅˆซ้€‰ๅ–ไบ†0 โˆผ 9ไธ€ๅ…ฑ10ไธชๆ ทๆœฌ๏ผŒๆฏไธ€่กŒไปฃ่กจไธ€
ไธชๆ ทๆœฌใ€‚ๅ…ถไธญ๏ผŒๆฏไธ€่กŒ็š„็ฌฌไธ€ๅผ ๆ˜ฏๅŽŸๅง‹็š„28 ร— 28ๅ›พๅƒ๏ผŒ้šๅŽๅ…ญๅผ ๆ˜ฏๅท็งฏๅ‡บๆฅ็š„ๅ…ญ
ๅผ 24 ร— 24ๅคงๅฐ็š„็‰นๅพๅ›พใ€‚่ง‚ๅฏŸๅ›พ9-8 a)๏ผŒๆˆ‘ไปฌๅฏไปฅๅ‘็Žฐไธ€ไบ›ๆœ‰ๆ„ๆ€็š„็Žฐ่ฑกใ€‚ไพ‹ๅฆ‚๏ผŒ
ๅŽŸๅง‹ๅ›พๅƒๆ˜ฏ้ป‘ๅบ•็™ฝๅญ—็š„๏ผŒ่€Œๆœ‰ไธ€ไบ›็‰นๅพๅ›พๅ่ฝฌๆˆไธบ็™ฝๅบ•้ป‘ๅญ—๏ผŒๅˆๆฏ”ๅฆ‚๏ผŒ็ฌฌๅ…ญๅผ ็‰น
ๅพๅ›พๆ˜ฏๅฏนๅ›พๅƒ่ฟ›่กŒ่พน็•Œๆฃ€ๆต‹๏ผŒไธบไบ†้ชŒ่ฏๆˆ‘ไปฌ่ฟ™ไธชๆƒณๆณ•๏ผŒๆˆ‘ไปฌ้šๆœบ้€‰ๅ–ไบ†โ€œ4โ€่ฟ™ไธช
- 97 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ๆ•ฐๅญ—็š„ๅ‡ ไธชๆ ทๆœฌ่ฟ›่กŒ็‰นๅพๆŠฝๅ–๏ผŒๅ…ถ็ป“ๆžœๅฆ‚ๅ›พ9-8 b) ๆ˜พ็คบ๏ผŒ้€š่ฟ‡่ง‚ๅฏŸ๏ผŒๆˆ‘ไปฌไธ้šพๅ‘
็Žฐ๏ผŒๅฏนไบŽไธๅŒ็š„ๅ†™ๆณ•๏ผŒๅ…ถๆๅ–ๅˆฐ็š„็‰นๅพ้ƒฝๆ˜ฏ่ฟ‘ไผผ็š„๏ผŒๅฎƒไผšๆฃ€ๆต‹โ€œ4โ€็š„ๅทฆ่พน็ซ–็บฟ็š„
ไธŠๆ–นไธ€็‚นไปฅๅŠๅฏนไธ‹ๆฅ็š„ไธ€ไธชๆŠ˜็บฟ๏ผŒๅณ่พน็ซ–็บฟ็š„ไธŠๆ–นไธ€็‚นไปฅๅŠไธ‹ๆ–น็š„ไธ€็‚นใ€‚ๅฆไธ€ไธช
ๆœ‰ๆ„ๆ€็š„็Žฐ่ฑกๆ˜ฏ๏ผŒ็ฌฌไธ‰ๅผ ็‰นๅพๅ›พ็œ‹่ตทๆฅๆ˜ฏไธ€ไธช3Dๅ›พๅƒ๏ผŒๆƒณ่ฑกๅ›พๅƒ็š„ๅทฆไธŠ่ง’ๆœ‰ไธ€ๆŸ
้˜ณๅ…‰ๆด’ไธ‹๏ผŒๅฝ“ๆˆ‘ไปฌไผธๅ‡บๅณๆ‰‹๏ผŒๆŽŒๅฟƒ่ดด็€ๅฝ“ๅ‰็š„็บธๅผ ้กต้ข๏ผŒๅคงๆ‹‡ๆŒ‡ๆœ็บธๅผ ๅทฆๆ–น๏ผŒๆก
ๆ‹ณ๏ผŒๆ•ฐๅญ—็ป่ฟ‡ๆˆ‘ไปฌๅ››ไธชๆ‰‹ๆŒ‡็š„ๆ–นๅ‘ๆ—‹่ฝฌ่ฟ‡ไธ€ๅฎš่ง’ๅบฆๅŽ๏ผŒ้‚ฃไนˆ้˜ณๅ…‰ๆด’ไธ‹็š„้˜ดๅฝฑๅฆ‚ๅŒ
็ฌฌไธ‰ๅผ ็‰นๅพๅ›พๆ‰€็คบใ€‚่ฟ™ไธช็Žฐ่ฑกๅœจ็ฌฌไบ”ๅผ ็‰นๅพๅ›พไธญไนŸๅ‡บ็Žฐไบ†๏ผŒๅชๆ˜ฏ็ฌฌไบ”ๅผ ็‰นๅพๅ›พ็š„
้˜ณๅ…‰ๅค„ไบŽๅทฆไพง่€Œไธๆ˜ฏๅทฆไธŠ่ง’ใ€‚ๅŒๆ ทไผธๅ‡บๆˆ‘ไปฌ็š„ๅณๆ‰‹๏ผŒๆŽŒๅฟƒ่ดด็€ๅฝ“ๅ‰็š„็บธๅผ ้กต้ข๏ผŒ
ๅคงๆ‹‡ๆŒ‡ๆœ็บธๅผ ไธ‹ๆ–น๏ผŒๆกๆ‹ณ๏ผŒๆˆ‘ไปฌๅฏไปฅ็œ‹ๅˆฐๆ•ฐๅญ—็ป่ฟ‡ๆˆ‘ไปฌๅ››ไธชๆ‰‹ๆŒ‡็š„ๆ–นๅ‘ๆ—‹่ฝฌ่ฟ‡ไธ€
ๅฎš่ง’ๅบฆๅŽ๏ผŒ้˜ณๅ…‰ๆด’ไธ‹็š„ๆŠ•ๅฝฑๆญฃๅฆ‚็ฌฌไบ”ๅผ ็‰นๅพๅ›พๆ‰€็คบใ€‚
a) ้’ˆๅฏน0-9ไธๅŒๆ•ฐๅญ—ๆๅ–ๅˆฐ็š„็‰นๅพๅ›พ
ๅƒ
b) ้’ˆๅฏนๆ•ฐๅญ—โ€œ4โ€ๆๅ–ๅˆฐ็š„็‰นๅพ
ๅ›พ 9-8 ็ฌฌไธ€ๅฑ‚ๅท็งฏๅฑ‚ๆŠฝๅ–ๅพ—ๅˆฐ็š„็‰นๅพๅ›พ
9.4 ๅท็งฏ็ฅž็ป็ฝ‘็ปœๅœจCIFAR-10ๆ•ฐๆฎ้›†ไธŠ็š„ๆ€ง่ƒฝ
็›ธๆฏ”ไบŽMNISTๆ•ฐๆฎ้›†๏ผŒCIFAR-10ๆ•ฐๆฎ้›†็š„่ฏ†ๅˆซๆ›ดไธบๅ›ฐ้šพใ€‚็”ฑไบŽ่ฎก็ฎ—่ต„ๆบ็š„้™
ๅˆถ๏ผŒๆˆ‘ไปฌๅชๅœจCIFAR-10ไธŠ่ฎพ่ฎกไบ†ไธ€ไธช่พƒๅฐ็š„ๅท็งฏ็ฝ‘็ปœ๏ผŒไธŽMNISTๆ‰‹ๅ†™ๆ•ฐๅญ—็š„ๅท็งฏ
็ฝ‘็ปœๆž„ๅž‹็ฑปไผผ๏ผŒๅœจCIFAR-10ๆ•ฐๆฎ้›†ไธŠ๏ผŒๆˆ‘ไปฌๅŒๆ ท่ฎพ่ฎกไบ†ไธ€ไธช4ๅฑ‚ๅท็งฏ็ฝ‘็ปœ๏ผŒๅ…ถ็ฝ‘
- 98 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
็ปœๆž„ๅž‹ๆ่ฟฐๅฆ‚ไธ‹
โ€ข 3ๅผ 32 ร— 32็š„ๅŽŸๅง‹ๅ›พๅƒ
โ€ข ๅท็งฏๅŽŸๅง‹ๅ›พๅƒๅพ—ๅˆฐ9ๅผ 28 ร— 28็‰นๅพๅ›พ
โ€ข ๅฏน9ๅผ ็‰นๅพๅ›พ่ฟ›่กŒ้‡‡ๆ ทๅพ—ๅˆฐ9ๅผ 14 ร— 14็‰นๅพๅ›พ
โ€ข ๅฐฝ็ฎก9ๅผ 5 ร— 5็‰นๅพๅ›พไป็„ถๅฏไปฅ่ขซๅท็งฏ๏ผŒไฝ†ๆˆ‘ไปฌไพ็„ถๅฐ†ๅ…ถๅฑ•ๅผ€ไธบ1764ไธช่Š‚็‚น
โ€ข 1764ไธช่Š‚็‚นไธŽ10ไธช่พ“ๅ‡บ่Š‚็‚นๅšๅ…จ่ฟžๆŽฅ็ฝ‘็ปœ๏ผŒไธŽไผ ็ปŸ็ฅž็ป็ฝ‘็ปœไธ€ๆ ท
็ฝ‘็ปœ็š„ๅฑžๆ€งไธŽMNISTๅฎž้ชŒไธญ็š„็›ธๅŒ๏ผŒๆฟ€ๆดปๅ‡ฝๆ•ฐๆˆ‘ไปฌไพ็„ถ้€‰ๅ–sigmoidๅ‡ฝๆ•ฐ๏ผŒๅ…จ
่ฟžๆŽฅ็ฝ‘็ปœไพ็„ถ้‡‡็”จๅนณๆ–น่ฏฏๅทฎไฝœไธบๅ‡†ๅˆ™๏ผŒๅฏน็ฝ‘็ปœ่ฟ›่กŒ่ฎญ็ปƒๅพ—ๅˆฐ่ฎญ็ปƒ้›†่ฏฏๅทฎไธ‹้™ๅฆ‚
ๅ›พ9-9 a)ๆ‰€็คบ๏ผŒๆต‹่ฏ•้›†่ฏฏๅทฎ้‡ไธ‹้™ๅฆ‚ๅ›พ9-9 b)ๆ‰€็คบใ€‚้œ€่ฆๆณจๆ„็š„ๆ˜ฏ๏ผŒ็œ‹่ตทๆฅๅœจๅ›พ9-9
a)ไธŽๅ›พ9-9 b)ไธญ่ฏฏๅทฎไธ‹้™้€Ÿๅบฆ้žๅธธๅฟซ๏ผŒๅฏนๆฏ”ไธŽๅ›พ9-7๏ผŒๅ…ถๆ–œ็Ž‡ๆ›ดๅคง๏ผŒ็„ถ่€Œ่ฟ™ๆ˜ฏไธ€ไธชๅ‡
่ฑก๏ผŒๅ› ไธบๆˆ‘ไปฌๅฏน็บต่ฝด่ฟ›่กŒไบ†ๅฐบๅบฆ็ผฉๆ”พ๏ผŒไบ‹ๅฎžไธŠๅœจCIFARไธญ่ฏฏๅทฎไธ‹้™็š„้žๅธธๆ…ข๏ผŒ่€Œ
ไธ”ๅœจ่ฎญ็ปƒ้›†ไธŽๆต‹่ฏ•้›†ไธญไป็„ถๅŽๅพˆๅคง็š„่ฏฏๅทฎๅฏไปฅไธ‹้™ใ€‚
a) ่ฎญ็ปƒ่ฏฏๅทฎไธ‹้™ๆ›ฒ็บฟ b) ๆต‹่ฏ•่ฏฏๅทฎไธ‹้™ๆ›ฒ็บฟ
ๅ›พ 9-9 CIFAR็š„่ฎญ็ปƒ่ฏฏๅทฎไธŽๆต‹่ฏ•่ฏฏๅทฎ
ๅ› ไธบCIFAR-10ๆ•ฐๆฎ้›†็š„ๅคๆ‚ๆ€ง๏ผŒๆœฌๅบ”่ฏฅๅปบ็ซ‹ไธ€ไธชๅบžๅคง็š„็ฝ‘็ปœ่ฟ›่กŒ่ฎญ็ปƒ๏ผŒไฝ†็”ฑ
ไบŽๆˆ‘ไปฌ็š„่ฎก็ฎ—่ต„ๆบๆœ‰้™๏ผŒๆ—ถ้—ด็ดง่ฟซ๏ผŒๆ‰€ไปฅๆ— ๆณ•ๅฎž็Žฐไธ€ไธชๆ›ดๅคง็š„ๅท็งฏ็ฝ‘็ปœ๏ผŒๆญคๅค–๏ผŒ
ๅฏน็ฝ‘็ปœ็š„่ฎญ็ปƒๆˆ‘ไปฌไนŸไป…ไป…่ฎญ็ปƒไบ†400ไธชๅ‘จๆœŸๅทฆๅณ๏ผŒๅ› ๆญค๏ผŒๆ•ดไธช็ฝ‘็ปœ่ฎญ็ปƒๅฎŒๆฏ•ๅŽๆˆ‘ไปฌ
ๅชๅพ—ๅˆฐ62%็š„่ฏ†ๅˆซๆญฃ็กฎ็Ž‡ใ€‚
ๅฆ‚ๅ›พ9-10ๆ‰€็คบๆ˜ฏไธ€้ƒจๅˆ†่ขซ็ฝ‘็ปœๆญฃ็กฎ่ฏ†ๅˆซ็š„ๆ ทๆœฌ๏ผŒๅ…ถไธญๆฏไธ€่กŒไปฃ่กจไธ€ไธช็ฑปๅˆซ๏ผŒ
ๅ›พไธญๆ€ปๅ…ฑๅŒ…ๅซไบ†10ไธช็ฑปๅˆซ100ไธชๆ ทๆœฌใ€‚่ง‚ๅฏŸ่ฟ™ไบ›ๆ ทๆœฌๆˆ‘ไปฌไผšๅ‘็Žฐ๏ผŒ็ฝ‘็ปœ่ƒฝ่ฏ†ๅˆซ็š„ๅ›พ
ๅƒๅฏนไฝ็งปใ€ๆ—‹่ฝฌ็ญ‰ๆ€ง่ดจๅ…ทๆœ‰ไธๆ•ๆ„Ÿๆ€งใ€‚ไพ‹ๅฆ‚๏ผŒๅœจ้ฃžๆœบ่ฟ™ไธช็ฑปๅˆซไธญ๏ผŒ็ฝ‘็ปœๅฏไปฅ่ฏ†ๅˆซ
ๅคด้ƒจๅ‘ๅทฆใ€ๅ‘ๅณ็ญ‰ๅคšไธช่ง’ๅบฆ็š„้ฃžๆœบ๏ผŒ่ฟ˜ๅฏไปฅ่ฏ†ๅˆซไฟฏไปฐ่ง’ไธๅŒ็š„ๅ›พ็‰‡๏ผŒ็”ฑไบŽ่ฟ™ไบ›ๅ›พ
็‰‡ไธๅ…ทๅค‡ๆจกๆฟๆ€ง๏ผŒๆ‰€ไปฅๅท็งฏ็ฝ‘็ปœๅŸบๆœฌๆฒกๆœ‰ไบ†ๆจกๆฟๅŒน้…็š„็ผบ็‚นใ€‚
- 99 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ๅ›พ 9-10 ่ขซ็ฝ‘็ปœๆญฃ็กฎ่ฏ†ๅˆซ็š„CIFAR-10้ƒจๅˆ†ๆ ทๆœฌ
ๆˆ‘ไปฌ่ทŸ่ธชไบ†็ฝ‘็ปœๆ— ๆณ•่ฏ†ๅˆซ็š„ๆ ทๆœฌ๏ผŒๅฐ†ๅ…ถไธ€้ƒจๅˆ†็ป˜ๅˆถๅฆ‚ๅ›พ9-11ๆ‰€็คบใ€‚ๅ›พไธญๆฏไธช
ๆ ทๆœฌไธ‹ๆ–น็š„้ป‘่‰ฒๆ•ฐๅญ—ไปฃ่กจ็”ฑ่ฎญ็ปƒ้›†ๆไพ›็š„ๆ ‡็ญพๅ€ผ๏ผŒ่€Œ็บข่‰ฒๆ•ฐๅญ—ไปฃ่กจ็ฝ‘็ปœ็š„่พ“ๅ‡บๆ ‡
็ญพๅ€ผ๏ผŒๆ ‡็ญพๅ€ผไบŽ็ฑปๅˆซๅๅญ—็š„้”ฎๅ€ผๅฏนๅฏๅ‚็…งๅ›พ9-1ใ€‚ๆˆ‘ไปฌๅ‘็Žฐ๏ผŒๅœจไธ€ไบ›ๆ ทๆœฌไธญ๏ผŒ็ฝ‘็ปœ
ไผšๅฐ†ๅคงๅก่ฝฆ้”™่ฏฏๅœฐ่ฏ†ๅˆซๆˆๅฐๆฑฝ่ฝฆๆˆ–ๅฐ†ๅฐๆฑฝ่ฝฆ้”™่ฏฏๅœฐ่ฏ†ๅˆซๆˆๅคงๅก่ฝฆ๏ผŒ่ฟ™ไผผไนŽๅฏไปฅๅŽŸ
่ฐ…๏ผŒไฝ†ๆœ‰ไธ€ไบ›ๅ›พๅƒ็š„้”™่ฏฏ่ฏ†ๅˆซๆ˜ฏๆˆ‘ไปฌๆ— ๆณ•ๅŽŸ่ฐ…็š„๏ผŒไพ‹ๅฆ‚ๅฐ†้ฉฌ่ฏ†ๅˆซๆˆๅคงๅก่ฝฆใ€‚่ฟ™ไบ›
้”™่ฏฏ็š„ๆ ทๆœฌไธญๅพˆๅคšๆ ทๆœฌไบบๆ˜ฏๅฏ่ฏ†ๅˆซ็š„๏ผŒ่€Œๆœบๅ™จไธๅฏ่ฏ†ๅˆซ๏ผŒๆˆ‘ไปฌๆŽจๆต‹่ฟ™ๆ˜ฏๅ› ไธบๆˆ‘ไปฌ
็š„็ฝ‘็ปœ่ฎพ่ฎกๅพ—ไธๅคŸๅบžๅคง๏ผŒ่ฎญ็ปƒๅ‘จๆœŸไนŸๆญฅ้•ฟ๏ผŒๅฏผ่‡ด็ฝ‘็ปœๆ— ๆณ•่ฟ›่กŒๆ›ดๅฅฝ็š„็‰นๅพๆๅ–๏ผŒ
ไปŽ่€Œๅฝฑๅ“ๆœ€็ปˆ็š„่ฏ†ๅˆซๆ•ˆๆžœใ€‚
ๅ›พ 9-11 ่ขซ็ฝ‘็ปœ้”™่ฏฏ่ฏ†ๅˆซ็š„CIFAR-10้ƒจๅˆ†ๆ ทๆœฌ
- 100 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ไธบไบ†ๆ่ฟฐ็ฝ‘ ็ปœ็š„็‰น ๅพ ๆๅ– ๆ€ง ่ƒฝ๏ผŒๅฆ‚ ๅŒๅœจMNISTไธŠ ๅท ็งฏ็ฝ‘ ็ปœ ็š„ๅทฅ ไฝœ๏ผŒๆˆ‘ ไปฌ
ๅŒๆ ทๅฐ†็ฌฌไธ€ๅฑ‚ๅท็งฏๅฑ‚ๆๅ–ๅˆฐ็š„็‰นๅพ็ป˜ๅˆถๅฆ‚ๅ›พ9-12ๆ‰€็คบใ€‚ๆˆ‘ไปฌ้€‰ๅ–ไบ†โ€œ้ฃžๆœบโ€็ฑป
ๅˆซไธ‹็š„9ไธชๆ ทๆœฌ๏ผŒๆฏไธ€่กŒไปฃ่กจไธ€ไธชๆ ทๆœฌใ€‚ๅ…ถไธญ๏ผŒๆฏไธ€่กŒ็š„ๅ‰ไธ‰ๅผ ้ป‘็™ฝๅ›พๅƒๆ˜ฏๅŽŸ
ๅง‹32 ร— 32ๅคงๅฐ็š„RGB้€š้“๏ผŒ่ฟ™ไธ‰ๅผ ๅ›พๅƒๅˆๆˆ็ฌฌๅ››ๅผ 32 ร— 32ๅฝฉ่‰ฒๅ›พๅƒใ€‚้šๅŽ็š„ไนๅผ 
ๆ˜ฏ็ฌฌไธ€ๅฑ‚ๅท็งฏๅฑ‚ๆๅ–ๅˆฐ็š„ไนๅผ 28 ร— 28ๅคงๅฐ็š„็‰นๅพๅ›พใ€‚ๅฏนๆฏ”่ฟ™ไบ›ๅŽŸๅง‹ๆ•ฐๆฎไธŽ็‰นๅพๅ›พ๏ผŒ
ๆˆ‘ไปฌๅ‘็Žฐ๏ผŒๅŽŸๅง‹ๆ•ฐๆฎไธญๅ›พๅƒๆ˜ฏๅซๆœ‰ๅ†—ไฝ™็š„๏ผŒๅคง้ƒจๅˆ†็š„็‰นๅพๅ›พ่ฟ‡ๆปคๆŽ‰่ฟ™ไบ›ๅ†—ไฝ™ไฟก
ๆฏ๏ผŒๅฐ†้ฃžๆœบ็š„่พน็•Œๆๅ–ๅ‡บๆฅๅฝขๆˆ็‰นๅพๅ›พใ€‚่ฟ™ไบ›็‰นๅพๅ›พไธญ๏ผŒๆœ‰ไธ€ไบ›็‰นๅพไพ‹ๅฆ‚็ฌฌ2ๅผ ๏ผŒ
็ฌฌ8ๅผ ๅนถๆฒกๆœ‰ๆๅ–ๅˆฐไธ€ไบ›ไบบๅฏ็†่งฃ็š„็‰นๅพ๏ผŒๆˆ‘ไปฌ็Œœๆต‹้š็€่ฎญ็ปƒๅ‘จๆœŸ็š„ๅขžๅŠ ๏ผŒ่ฟ™ไบ›็‰น
ๅพๅฐ†ไผš้€ๆธๆ˜พ้œฒๅ‡บๆฅ๏ผŒ็”ฑไบŽๆ—ถ้—ดๆœ‰้™๏ผŒๆˆ‘ไปฌๅนถๆฒกๆœ‰้ชŒ่ฏๆˆ‘ไปฌ็š„็Œœๆƒณใ€‚
ๅ›พ 9-12 ้’ˆๅฏนโ€œ้ฃžๆœบโ€็ฑปๅˆซๆๅ–็š„็‰นๅพ
่ฟ™ไบ›็‰นๅพๅ›พๅบ”่ฏฅๅฏไปฅ้€š่ฟ‡้€‰ๅ–ๆŸๅ‡ ๅผ ็ป„ๆˆๅฝฉ่‰ฒ็š„็‰นๅพๅ›พ๏ผŒไฝ†ๆˆ‘ไปฌๅนถไธ็Ÿฅ้“้€‰
ๅ–ๅ“ชๅ‡ ๅผ ๅˆ้€‚๏ผŒๆ‰€ไปฅๆˆ‘ไปฌๅนถๆฒกๆœ‰ๅš่ฟ™ไธ€ๆญฅๅทฅไฝœใ€‚ๆญคๅค–๏ผŒ่ฟ™ไบ›็‰นๅพๅ›พ่กจๆ˜Ž๏ผŒๅœจไป–ไปฌ
ไน‹ไธŠๅบ”่ฏฅๅ†ๆทปๅŠ ไธ€ไบ›ๅท็งฏๅฑ‚ๅฏน็‰นๅพ็ปง็ปญๆๅ–๏ผŒ่€Œไธๆ˜ฏๆˆ‘ไปฌ่ฎพ่ฎก็š„ๅ…จ่ฟžๆŽฅ็ฝ‘็ปœ๏ผŒ็”ฑ
ไบŽๆˆ‘ไปฌ็š„่ฎก็ฎ—่ต„ๆบๅๅˆ†ๅŒฎไน๏ผŒๆ‰€ไปฅๆˆ‘ไปฌไนŸๆฒกๆœ‰่ฟ›ไธ€ๆญฅๅฑ•ๅผ€่ฟ™้กนๅทฅไฝœใ€‚
9.5 ไฝฟ็”จCa๏ฌ€eๅฎž็Žฐ็š„CIFAR-10ๆ•ฐๆฎ้›†่ฎญ็ปƒ
็›ฎๅ‰ๅญฆๆœฏ็•Œ่ฎคไธบCIFAR-10ๆ•ฐๆฎ้›†ๅทฒ่ขซ่งฃๅ†ณ๏ผŒๅ› ไธบๆœ€ๅฅฝ็š„่ฏ†ๅˆซๆ•ˆๆžœ็”ฑxxxๅฎž
็Žฐ๏ผŒๆญฃ็กฎ็Ž‡ไธบ91%ใ€‚ๅฆไธ€่ฏ†ๅˆซ็Ž‡่พƒ้ซ˜็š„็ฝ‘็ปœ็”ฑAlex Krizhevsky็ญ‰ไบบๅฎž็Žฐ๏ผŒๅ…ถ่ฏ†ๅˆซ็Ž‡
ไธบ89%๏ผŒ่ฟ™ไธช็ฝ‘็ปœ็จๅพฎๆœ‰็‚นๅคๆ‚ๆ‰€ไปฅๆˆ‘ไปฌไธไผšๅœจๆœฌๆ–‡ไธญๆๅŠ๏ผŒๆ›ดๅคš็š„่ฎจ่ฎบๅฏ้˜…่ฏป
- 101 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ๅ…ถ่ฎบๆ–‡[41]ใ€‚ๅœจCa๏ฌ€eไธญ็š„ๅท็งฏ็ฝ‘็ปœๆž„ๅž‹้‡‡ๅ–็š„ๆ˜ฏAlex Krizhevsky็š„ๆ–นๆกˆ๏ผŒไธบไบ†ๅฎž็Žฐ
ๅฏนๆฏ”๏ผŒๆˆ‘ไปฌไฝฟ็”จCa๏ฌ€e้ชŒ่ฏไบ†Alex Krizhevsky็ญ‰ไบบ็š„็ฝ‘็ปœๆž„ๅž‹ๅœจCIFAR-10ๆ•ฐๆฎ้›†ไธŠ
็š„่ฎญ็ปƒๆ•ˆๆžœ๏ผŒๅ…ถ่ฎญ็ปƒ่ฏฏๅทฎไธŽๆต‹่ฏ•่ฏฏๅทฎๆ›ฒ็บฟๅฆ‚ๅ›พ9-13ๆ‰€็คบ
a) ่ฎญ็ปƒ่ฏฏๅทฎไธ‹้™ๆ›ฒ็บฟ b) ๆต‹่ฏ•่ฏฏๅทฎไธ‹้™ๆ›ฒ็บฟ
ๅ›พ 9-13 ไฝฟ็”จCa ๏ฌ€e่ฎญ็ปƒๆจกๅž‹ๅพ—ๅˆฐ็š„่ฏฏๅทฎ
็”ฑไบŽCa๏ฌ€e็š„ๆบไปฃ็ ๆ˜ฏๆฏ100ไธชๅ‘จๆœŸๅฏน่ฎญ็ปƒ่ฏฏๅทฎๅšไธ€ๆฌกๆต‹่ฏ•๏ผŒๆฏ500ไธชๅ‘จๆœŸๅฏนๆต‹
่ฏ•่ฏฏๅทฎๅšไธ€ๆฌกๆต‹่ฏ•๏ผŒๆ‰€ไปฅๅ›พ9-13ไธญ็š„ๆ›ฒ็บฟ็œ‹่ตทๆฅๅนถไธๅ…‰ๆป‘ใ€‚ๆญคๅค–ๆˆ‘ไปฌๅฏไปฅ็œ‹ๅˆฐ๏ผŒ
่ฎญ็ปƒ่ฏฏๅทฎๆœ‰ๅพˆๅคง็š„ๆณขๅŠจ๏ผŒ่ฟ™ๆ˜ฏๅ› ไธบAlex Krizhevsky่ฎพ่ฎก็š„็ฝ‘็ปœไธบไบ†้ฟๅ…่ฟ‡ๅญฆไน ไฝฟ
็”จไบ†dropoutๆŠ€ๅทง๏ผŒ่ฟ™ไธชๆŠ€ๅทงไผšๅฏน่ฎญ็ปƒ้›†ไบง็”Ÿไธ€ไธชๅพˆๅคง็š„ๆƒฉ็ฝš๏ผŒไปŽ่€Œๅฏผ่‡ด่ฎญ็ปƒ่ฏฏๅทฎ
ๅ‡บ็ŽฐๆณขๅŠจ๏ผŒ็„ถ่€Œ่ฟ™ไธชๆŠ€ๅทงๅนถไธไผšๅฏนๆต‹่ฏ•่ฏฏๅทฎไบง็”Ÿ่พƒๅคง็š„ๆณขๅŠจใ€‚
Alex Krizhevsky่ฎพ่ฎก็š„็ฝ‘็ปœ่ง„ๆจก่ฟœ่ฟœ่ถ…่ฟ‡ๆˆ‘ไปฌ่ฎพ่ฎก็š„็ฝ‘็ปœ๏ผŒไพ‹ๅฆ‚ไป–ไปฌ็š„็ฝ‘็ปœ
ไป…็‰นๅพๅ›พ็š„ๆ•ฐ้‡ๅฐฑ่พพๅ‡ ็™พๅผ ๏ผŒ่€Œๆˆ‘ไปฌ็š„็ฝ‘็ปœไธญๅชๆœ‰9ๅผ ใ€‚ไปŽๅ›พ9-13ไธญ็š„ๆต‹่ฏ•่ฏฏๅทฎๆˆ‘
ไปฌๅฏไปฅ็œ‹ๅˆฐ๏ผŒ็ป่ฟ‡5000ไธชๅ‘จๆœŸ็š„่ฎญ็ปƒๅŽ๏ผŒ่ฟ™ไธช็ฝ‘็ปœๅฎž็Žฐไบ†75.1%็š„ๆญฃ็กฎ่ฏ†ๅˆซ็Ž‡๏ผŒๅฆ‚
ๆžœ่ฎฉ็ฝ‘็ปœ็ปง็ปญ่ฎญ็ปƒ๏ผŒ้‚ฃไนˆๅฎƒๅฐ†ไผšๆ”ถๆ•›ๅˆฐๆ–‡็ซ [41]ไธญๅท็งฐ็š„89%ๆญฃ็กฎ็Ž‡ใ€‚
ๅฏนไบŽๆฏ”Alex Krizhevsky่ฎพ่ฎก็š„็ฝ‘็ปœ๏ผŒๆˆ‘ไปฌ็š„็ฝ‘็ปœๅฎž็Žฐ็š„62%ๆญฃ็กฎ็Ž‡็œ‹่ตทๆฅไฝŽ
ๅพ—ๅฏๆ€œ๏ผŒไฝ†ๆƒ…ๅ†ตไผผไนŽๅนถๆฒกๆœ‰่ฟ™ไนˆ็ณŸ็ณ•๏ผŒๆˆ‘ไปฌ็š„็ฝ‘็ปœๅช่ฎญ็ปƒไบ†ๅคง็บฆ300ไธชๅ‘จๆœŸๅŽๅฎž
็Žฐ62%ๆญฃ็กฎ็Ž‡๏ผŒ่€ŒAlex Krizhevsky็š„็ฝ‘็ปœ่ฎญ็ปƒไบ†5000ไธชๅ‘จๆœŸๅฎž็Žฐ75.1%็š„ๆญฃ็กฎ็Ž‡๏ผŒ
ๅฆ‚ๆžœๆˆ‘ไปฌๆจชๅ‘ๅฏนๆฏ”๏ผŒAlex Krizhevsky่ฎพ่ฎก็š„็ฝ‘็ปœๅœจ่ฎญ็ปƒ500ไธชๅ‘จๆœŸๆ—ถๅพ—ๅˆฐ็š„ๆญฃ็กฎ็Ž‡
ไธบ54.21%๏ผŒ่ฟ™ไธชๆ•ˆๆžœไฝŽไบŽๆˆ‘ไปฌ็š„็ฝ‘็ปœๆ•ˆๆžœใ€‚ๅฝ“็„ถ๏ผŒ่ฟ™ๅ…ถไธญๅนถไธ่ƒฝๆŽ’้™คไธ€ไบ›ๅ› ็ด ็š„
ๅฐ่ฑก๏ผŒๆฏ”ๅฆ‚ๆˆ‘ไปฌ็š„ๅฎž้ชŒไธญ้€š่ฟ‡ๅฏนๆ•ฐๆฎ้•œๅƒๅค„็†ๅฐ†่ฎญ็ปƒ้›†่ง„ๆจกๆ‰ฉๅคงไธบไธคๅ€๏ผŒๆญคๅค–๏ผŒ
ๆˆ‘ไปฌไนŸๆฒกๆœ‰ๅผ•ๅ…ฅ้ฟๅ…่ฟ‡ๅญฆไน ็š„ๆƒฉ็ฝš๏ผŒ่ฟ™็งๆƒฉ็ฝšๅœจไธ€ๅฎš็จ‹ๅบฆไธŠไผš้™ไฝŽๆ”ถๆ•›้€Ÿๅบฆ๏ผŒไฝ†
ไผšๆ้ซ˜ๆœ€็ปˆ็š„ๆ”ถๆ•›ๆ€ง่ƒฝใ€‚ๅฐฝ็ฎกๅฆ‚ๆญค๏ผŒๆˆ‘ไปฌไน่ง‚ๅœฐไผฐ่ฎก๏ผŒๅฆ‚ๆžœๅฐ†ๆˆ‘ไปฌ็š„็ฝ‘็ปœ่ง„ๆจกๆ‰ฉ
ๅคง๏ผŒๅนถไธ”ๅปถ้•ฟ่ฎญ็ปƒๅ‘จๆœŸ๏ผŒ้‚ฃไนˆๅบ”่ฏฅ่ƒฝๅฎž็Žฐ80%ๅคš็š„่ฏ†ๅˆซๆญฃ็กฎ็Ž‡ใ€‚
ๅœจCIFAR-10่ฟ™ไธชไปปๅŠกไธญ๏ผŒๆˆ‘ไปฌๅฏไปฅ็œ‹ๅˆฐๅท็งฏ็ฝ‘็ปœ็š„ๅจๅŠ›ๆ‰€ๅœจ๏ผŒ่ฟ™ไธชไปปๅŠกไฝฟ็”จ
- 102 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ไผ ็ปŸ็š„ๅ…จ่ฟžๆŽฅ็ฅž็ป็ฝ‘็ปœๅคง็บฆๅช่ƒฝๅฎž็Žฐ40%ๅทฆๅณ็š„ๆญฃ็กฎ็Ž‡๏ผŒ่€Œไฝฟ็”จๆจกๆฟๅŒน้…็š„ๆ–นๆณ•
ๅŸบๆœฌๆ˜ฏไธๅฏ่กŒ็š„ใ€‚ๅท็งฏ็ฝ‘็ปœๅœจๅ›พๅƒ่ฏ†ๅˆซไธญ็‰นๅพ่‡ชๅญฆไน ็š„ๆ€ง่ƒฝไฝฟๅพ—ๅฎƒ่ฟœ่ฟœ่ถ…่ฟ‡ๆœบๅ™จ
ๅญฆไน ไธญๅˆซ็š„็ฎ—ๆณ•๏ผŒ็›ฎๅ‰ไธปๆต็š„ๅ›พๅƒ่ฏ†ๅˆซๆŠ€ๆœฏๅŸบๆœฌ็”ฑๅท็งฏ็ฝ‘็ปœๅฎž็Žฐใ€‚
9.6 ๆœฌ็ซ ๅฐ็ป“
ๆœฌ็ซ ่ฎจ่ฎบไบ†ๆˆ‘ไปฌๅœจMNISTๆ•ฐๆฎ้›†ไธŽCIFAR-10ๆ•ฐๆฎ้›†ไธŠ่Žทๅพ—็š„ๅฎž้ชŒ็Žฐ่ฑกไธŽ็ป“ๆžœ
่ฎจ่ฎบใ€‚ๅฏนไบŽMNIST่ฟ™็งๆ•ฐๆฎ็‰นๅพๅทฒ็ป่ขซๅพˆๅฅฝๅœฐ้ข„ๅค„็†๏ผŒๆฒกๆœ‰่ฟ‡ๅคšๅ™ชๅฃฐ๏ผŒไนŸๆฒกๆœ‰ๅคช
ๅคš็š„ๆ—‹่ฝฌใ€ไผธ็ผฉใ€ไฝ็งป็ญ‰ๅ˜ๅŒ–็š„ๅ›พๅƒ๏ผŒ้‚ฃไนˆ้‡‡็”จ้‡‡็”จๅ…จ่ฟžๆŽฅ็ฅž็ป็ฝ‘็ปœๆˆ–้‡‡็”จๆœบๅ™จ
ๅญฆไน ไธญๅพˆๅคšๅˆซ็š„ๆ–นๆณ•ไนŸ่ƒฝๅฎž็Žฐๅพˆๅฅฝ็š„่ฏ†ๅˆซๆ•ˆๆžœใ€‚ไฝ†ๅฏนไบŽCIFAR-10่ฟ™็งๆบ่‡ชไบŽ็œŸๅฎž
็”Ÿๆดปไธญ็š„ๅ›พ็‰‡๏ผŒ็‰นๅพๅนถๆฒกๆœ‰็ป่ฟ‡้ข„ๅค„็†๏ผŒๅนถไธ”ๆฏไธช็ฑปๅˆซ็š„ไธชไฝ“้ƒฝๅธฆๆœ‰ๅพˆๅคง็š„ๅทฎๅผ‚
ๆ€ง๏ผŒ้‚ฃไนˆไฝฟ็”จๅ…จ่ฟžๆŽฅ็ฝ‘็ปœๅนถไธๆ˜ฏไธ€ไธช่พƒๅฅฝ็š„ๆ•ˆๆžœใ€‚ๆœ‰ไบ›ๆ—ถๅ€™๏ผŒๅท็งฏ็ฝ‘็ปœไนŸ่ขซ็œ‹ๅš
ไธ€็งๆปคๆณข๏ผŒๆญฃๅฆ‚ๆˆ‘ไปฌ่ฏ•้ชŒไธญ็œ‹ๅˆฐ็š„็‰นๅพๅ›พ๏ผŒๅฎƒไผšๅฐ†ๅŽŸๅง‹ๅ›พๅƒไธญ็š„็‰นๅพ่‡ชๅŠจ่ฟ‡ๆปคๅ‡บ
ๆฅไพ›็ป™ไธ‹ไธ€ๅฑ‚็ฝ‘็ปœ๏ผŒๅนถไธ”่ฟ™ไธช็‰นๅพๆๅ–่ฟ‡็จ‹ๅฏนไฝ็งป็ญ‰ๅ˜ๆขๆ˜ฏไธๆ•ๆ„Ÿ็š„ใ€‚ๆˆ‘ไปฌๆ›พ็ป
ๆ่ฟ‡๏ผŒๆทฑๅบฆๅญฆไน ไนŸ็งฐ็‰นๅพๅญฆไน ๏ผŒๅณ็ฅž็ป็ฝ‘็ปœๅฏนๆ•ฐๆฎ่ฟ›่กŒ้€ๅฑ‚็š„็‰นๅพๆๅ–๏ผŒ่ฟ™ไบ›็‰น
ๅพๅฟ…้กปๆ˜ฏ่ƒฝๆ่ฟฐๅŽŸๅง‹ๅ›พๅƒ็š„็‰นๅพ๏ผŒๆ นๆฎ่ฟ™ไบ›็‰นๅพ่ƒฝๅคŸๅๅ‘่ฟ˜ๅŽŸๅ‡บๆ•ฐๆฎ็š„ๅŽŸๅง‹ๅคง่‡ด
้ข่ฒŒใ€‚ๆ— ่ฎบๆ˜ฏ้‚ฃ็งๆ–นๆณ•๏ผŒๅฏนๆ•ฐๆฎ็š„้œ€ๆฑ‚้‡้ƒฝๅพˆๅคง๏ผŒๅนถไธ”ไปปๅŠก่ถŠๅคๆ‚๏ผŒ้œ€ๆฑ‚่ถŠๅคง๏ผŒ
ๅฐๆ ทๆœฌ็š„ๆ•ฐๆฎๅนถไธ้€‚ๅˆไฝฟ็”จๆทฑๅบฆๅญฆไน ๅค„็†๏ผŒๅ› ไธบๅฐๆ ทๆœฌๆœบๅ™จๆ— ๆณ•ๆŽข็ดขๅ‡บ้‚ฃไบ›็‰นๅพ
ๆ‰ๆ˜ฏๅฏนๅˆ†็ฑปๆœ‰ๅธฎๅŠฉ็š„ใ€‚ๅฏนไบŽๅฐๆ ทๆœฌๆ•ฐๆฎ๏ผŒๅบ”่ฏฅๅœจๆจกๅž‹ไธญๅŠ ๅ…ฅไบบ็š„็Ÿฅ่ฏ†๏ผŒ่€Œไธๆ˜ฏๅฅข
ๆœ›ๆœบๅ™จ่‡ชๅŠจๅญฆไน ่ฟ™ไบ›็Ÿฅ่ฏ†๏ผŒๅฏนไบŽๅคง็š„ๆ•ฐๆฎ๏ผŒๅฆ‚ๆžœ่ƒฝๅพ€ๆจกๅž‹ไธญๆทปๅŠ ไบบ็š„็Ÿฅ่ฏ†
1
๏ผŒ้‚ฃไนˆ
ไนŸ่ƒฝๅพˆๅคง็จ‹ๅบฆๅœฐๆ้ซ˜ๆœบๅ™จ็š„ๅญฆไน ๆ€ง่ƒฝ๏ผŒๆฏ•็ซŸไบบๅทฅๆ™บ่ƒฝไธšๅ†…ๆœ‰ไธ€ๅฅ่ฏ๏ผšๆœ‰ๅคšๅฐ‘ไบบๅทฅ๏ผŒ
ๅฐฑๆœ‰ๅคšๅฐ‘ๆ™บ่ƒฝใ€‚
1
ไพ‹ๅฆ‚ๅท็งฏ็ฝ‘็ปœไธญๆˆ‘ไปฌๅฐฑๆ˜ฏ่ฟ™ๆ ทๅนฒ็š„
- 103 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
็ป“ ่ฎบ
ๆœฌๆ–‡็š„ไธป่ฆ็›ฎ็š„ๅœจไบŽไป‹็ปๆทฑๅบฆๅญฆไน ๅœจๅ›พๅƒ่ฏ†ๅˆซไธญ็š„ๅบ”็”จ๏ผŒๆ–‡ไธญๆœ‰ไธคๆกไธป็บฟ่ดฏ
็ฉฟๅ…จๆ–‡ใ€‚ๆˆ‘ไปฌๅ…ˆไปŽๆŽงๅˆถ่ฎบไธŽๆœบๅ™จๅญฆไน ็š„ๅ…ณ็ณป่ฏด่ตท๏ผŒ้šๅŽๅผ•ๅ…ฅไบ†็ฌฌไธ€ไธชๅˆป็”ปๆ•ฐๆฎๅˆ†
ๅธƒ็š„ๆจกๅž‹ๅณๅ—้™็Žปๅฐ”ๅ…นๆ›ผๆœบ๏ผŒไธบไบ†ไป‹็ปๅ—้™็Žปๅฐ”ๅ…นๆ›ผๆœบ็š„่ฎญ็ปƒๆ–นๆณ•๏ผŒๆˆ‘ไปฌ่ฎจ่ฎบไบ†
้ฉฌๅฐ”ๅฏๅคซ้“พ่’™็‰นๅก็ฝ—ๆ–นๆณ•ใ€‚ๅœจๅ—้™็Žปๅฐ”ๅ…นๆ›ผๆœบ็š„ๅŸบ็ก€ไธŠ๏ผŒๆˆ‘ไปฌ่ฎจ่ฎบไบ†ๅฆ‚ไฝ•ๅˆฉ็”จๅฎƒ
ไปฌๅ †ๅ ๅพ—ๅˆฐๆทฑๅบฆ็ฝฎไฟก็ฝ‘็ปœ๏ผŒๅนถไป‹็ปไบ†ๅๅ‘ไผ ๆ’ญ็ฎ—ๆณ•ใ€‚่‡ณๆญคๆˆ‘ไปฌๅฎŒๆˆไบ†ๆทฑๅบฆๅญฆไน ็š„
็ฌฌไธ€ๆกไธป็บฟๅณๆทฑๅบฆ็ฝฎไฟก็ฝ‘็ปœ็š„่ฎจ่ฎบใ€‚้šๅŽๆˆ‘ไปฌๅฑ•ๅผ€ไบ†็ฌฌไบŒๆกไธป็บฟๅณๅท็งฏ็ฅž็ป็ฝ‘็ปœ
็š„่ฎจ่ฎบ๏ผŒๅนถๅœจๅ…ถๅŽไป‹็ปไบ†็ฅž็ป็ฝ‘็ปœ็š„่ฎพ่ฎกๆŠ€ๅทงไธŽGPU้ซ˜ๆ€ง่ƒฝ่ฎก็ฎ—ใ€‚
ๆœ€ ๅŽ๏ผŒ ๆˆ‘ ไปฌ ้€š ่ฟ‡ ไธ‰ ไธช ๅฎž ้ชŒ ๆต‹ ่ฏ• ไบ† ๆทฑ ๅบฆ ๅญฆ ไน  ๅœจ ๅ›พ ๅƒ ่ฏ† ๅˆซ ไธญ ็š„ ่ฏ† ๅˆซ ๆ•ˆ ๆžœใ€‚
ๅœจMNISTๆ•ฐๆฎ้›†ไธญ๏ผŒไฝฟ็”จๆทฑๅบฆ็ฝฎไฟก็ฝ‘็ปœๅฎž็Žฐไบ†98.7%็š„่ฏ†ๅˆซๆญฃ็กฎ็Ž‡๏ผŒไฝฟ็”จๅท็งฏ
็ฅž็ป็ฝ‘็ปœๅฎž็Žฐไบ†98.9%็š„่ฏ†ๅˆซๆญฃ็กฎ็Ž‡ใ€‚ๅœจCIFAR-10ๆ•ฐๆฎ้›†ไธญ๏ผŒๆˆ‘ไปฌไฝฟ็”จๅท็งฏ็ฅž็ป
็ฝ‘็ปœๅฎž็Žฐไบ†62%็š„่ฏ†ๅˆซๆญฃ็กฎ็Ž‡๏ผŒๅฐฝ็ฎก่ฟ™ไธช็ป“ๆžœไธŽๅฝ“ๅ‰ไธ–็•Œ้กถๅฐ–็š„็ป“ๆžœ91%็š„ๆญฃ็กฎ
็Ž‡็›ธๅทฎ่พƒ่ฟœ๏ผŒไฝ†้€š่ฟ‡ไธŽCa๏ฌ€e่ฎญ็ปƒ็š„ๅท็งฏ็ฝ‘็ปœๅšๅฏนๆฏ”๏ผŒๆˆ‘ไปฌไน่ง‚ๅœฐ่ฎคไธบๆˆ‘ไปฌ็š„็ฝ‘็ปœ
ไปๆœ‰ๅพˆๅคง็š„ๆ”ถๆ•›็ฉบ้—ดใ€‚
ๆทฑๅบฆๅญฆไน ไฝœไธบไธ€็ง็‰นๅพๅญฆไน ๏ผŒ่พƒไผ ็ปŸๆจกๅผ่ฏ†ๅˆซๆ–นๆณ•ๆœ‰ๆœฌ่ดจๅŒ–็š„ๆ”นๅ˜๏ผŒๅฐคๅ…ถๆ˜ฏ
ๅœจๅ›พๅƒ่ฏ†ๅˆซ้ข†ๅŸŸใ€‚่ฟ™ๅฅ—ๆ–นๆณ•ๅบ”ๅฝ“ๅ€ผๅพ—็ ”็ฉถไบบๅ‘˜ๅ…ณๆณจใ€‚
- 104 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ๅ‚่€ƒๆ–‡็Œฎ
[1] Bishop C M, et al. Pattern recognition and machine learning[M]. Vol. 1.[S.l.]:
springer New York, 2006.
[2] Vladimir N. Vapnik ๅŽŸ่‘—, ๅผ ๅญฆๅทฅ ่ฏ‘. ็ปŸ่ฎกๆœบๅ™จๅญฆไน ็†่ฎบ็š„ๆœฌ่ดจ[M]. ๅŒ—ไบฌ: ๆธ…ๅŽ
ๅคงๅญฆๅ‡บ็‰ˆ็คพ, 2000.
[3] Duda R O, Hart P E, Stork D G. Pattern classi๏ฌcation[M].[S.l.]: John Wiley &
Sons,, 1999.
[4] Bengio Y. Learning deep architectures for AI[J]. Foundations and trends
R
โƒ in Ma-
chine Learning, 2009, 2(1):1โ€“127.
[5] Hinton G E. To recognize shapes, ๏ฌrst learn to generate images[J]. Progress in brain
research, 2007, 165:535โ€“547.
[6] Hinton G, Osindero S, Teh Y W. A fast learning algorithm for deep belief nets[J].
Neural computation, 2006, 18(7):1527โ€“1554.
[7] Hinton G. A practical guide to training restricted Boltzmann machines[J]. Momen-
tum, 2010, 9(1):926.
[8] Erhan D, Manzagol P A, Bengio Y, et al. The di ๏ฌƒculty of training deep archi-
tectures and the e๏ฌ€ect of unsupervised pre-training[C]//International Conference on
Arti๏ฌcial Intelligence and Statistics. .[S.l.]: [s.n.] , 2009:153โ€“160.
[9] Bengio Y, Lamblin P, Popovici D, et al. Greedy layer-wise training of deep network-
s[J]. Advances in neural information processing systems, 2007, 19:153.
[10] Poultney C, Chopra S, Cun Y L, et al. E๏ฌƒcient learning of sparse representations
with an energy-based model[C]//Advances in neural information processing system-
s. .[S.l.]: [s.n.] , 2006:1137โ€“1144.
[11] Hinton G E, Salakhutdinov R R. Reducing the dimensionality of data with neural
networks[J]. Science, 2006, 313(5786):504โ€“507.
[12] LeCun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015, 521(7553):436โ€“444.
[13] ๅ†ฏยท่ฏบไผŠๆ›ผ ๅŽŸ่‘—, ็”˜ๅญ็Ž‰ ่ฏ‘. ่ฎก็ฎ—ๆœบไธŽไบบ่„‘[M]. ๅŒ—ไบฌ: ๅŒ—ไบฌๅคงๅญฆๅ‡บ็‰ˆ็คพ, 2010.
[14] Schmidhuber J. Deep Learning in Neural Networks: An Overview[J]. arXiv preprint
arXiv:1404.7828, 2014.
[15] Williams D R G H R, Hinton G. Learning representations by back-propagating
errors[J]. Nature, 1986:323โ€“533.
- 105 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
[16] Ma-ckay, D.J.C. ๅŽŸ่‘—, ่‚–ๆ˜Žๆณข ็ญ‰่ฏ‘. ไฟกๆฏ่ฎบใ€ๆŽจ็†ไธŽๅญฆไน ็ฎ—ๆณ•[M]. ๅŒ—ไบฌ: ้ซ˜็ญ‰
ๆ•™่‚ฒๅ‡บ็‰ˆ็คพ, 2006.
[17] Ackley D H, Hinton G E, Sejnowski T J. A learning algorithm for boltzmann ma-
chines[J]. Cognitive science, 1985, 9(1):147โ€“169.
[18] LeCun Y, Boser B, Denker J S, et al. Backpropagation applied to handwritten zip
code recognition[J]. Neural computation, 1989, 1(4):541โ€“551.
[19] LeCun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document
recognition[J]. Proceedings of the IEEE, 1998, 86(11):2278โ€“2324.
[20] Arel I, Rose D C, Karnowski T P. Deep machine learning-a new frontier in arti๏ฌcial
intelligence research [research frontier][J]. Computational Intelligence Magazine,
IEEE, 2010, 5(4):13โ€“18.
[21] Salakhutdinov R. Learning deep generative models[D].[S.l.]: University of Toronto,
2009.
[22] ไฝ™ๅ‡ฏ, ่ดพ็ฃŠ, ้™ˆ้›จๅผบ, et al. ๆทฑๅบฆๅญฆไน ็š„ๆ˜จๅคฉ, ไปŠๅคฉๅ’Œๆ˜Žๅคฉ[J]. ่ฎก็ฎ—ๆœบ็ ”็ฉถไธŽๅ‘ๅฑ•,
2013, 50(9):1799โ€“1804.
[23] He K, Zhang X, Ren S, et al. Delving Deep into Recti๏ฌers: Surpassing Human-Level
Performance on ImageNet Classi๏ฌcation[J]. arXiv preprint arXiv:1502.01852, 2015.
[24] ็ปด็บณ ๅŽŸ่‘—, ้™ˆๆญฅ ่ฏ‘. ไบบๆœ‰ไบบ็š„็”จๅค„๏ผšๆŽงๅˆถ่ฎบไธŽ็คพไผš[M]. ๅŒ—ไบฌ: ๅŒ—ไบฌๅคงๅญฆๅ‡บ็‰ˆ
็คพ, 2010.
[25] Tom M.Mitchell ๅŽŸ่‘—, ๆ›พๅŽๅ†› ็ญ‰่ฏ‘. ๆœบๅ™จๅญฆไน [M]. ๅŒ—ไบฌ: ๆœบๆขฐๅทฅไธšๅ‡บ็‰ˆ็คพ, 2003.
[26] LeCun Y, Chopra S, Hadsell R, et al. A tutorial on energy-based learning[J]. Pre-
dicting structured data, 2006, 1:0.
[27] Andrieu C, De Freitas N, Doucet A, et al. An introduction to MCMC for machine
learning[J]. Machine learning, 2003, 50(1-2):5โ€“43.
[28] Carreira-Perpinan M A, Hinton G E. On contrastive divergence learning[C]//. .[S.l.]:
[s.n.] , 2005.
[29] Tieleman T. Training restricted Boltzmann machines using approximations to the
likelihood gradient[C]//Proceedings of the 25th international conference on Machine
learning. .[S.l.]: [s.n.] , 2008:1064โ€“1071.
[30] Barron A R. Universal approximation bounds for superpositions of a sigmoidal
function[J]. Information Theory, IEEE Transactions on, 1993, 39(3):930โ€“945.
- 106 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
[31] Glorot X, Bordes A, Bengio Y. Deep sparse recti๏ฌer neural network-
s[C]//International Conference on Arti๏ฌcial Intelligence and Statistics. .[S.l.]: [s.n.]
, 2011:315โ€“323.
[32] Boser B E, Guyon I M, Vapnik V N. A training algorithm for optimal margin
classi๏ฌers[C]//Proceedings of the ๏ฌfth annual workshop on Computational learning
theory. .[S.l.]: [s.n.] , 1992:144โ€“152.
[33] Cortes C, Vapnik V. Support-vector networks[J]. Machine learning, 1995,
20(3):273โ€“297.
[34] Erhan D, Bengio Y, Courville A, et al. Why does unsupervised pre-training help
deep learning?[J]. The Journal of Machine Learning Research, 2010, 11:625โ€“660.
[35] Hinton G E. Learning multiple layers of representation[J]. Trends in cognitive
sciences, 2007, 11(10):428โ€“434.
[36] Abdel-Hamid O, Mohamed A r, Jiang H, et al. Applying convolutional neural
networks concepts to hybrid NN-HMM model for speech recognition[C]//Acoustics,
Speech and Signal Processing (ICASSP), 2012 IEEE International Conference on.
.[S.l.]: [s.n.] , 2012:4277โ€“4280.
[37] Sukittanon S, Surendran A C, Platt J C, et al. Convolutional networks for speech
detection.[C]//. .[S.l.]: [s.n.] .
[38] LeCun Y, Bengio Y. Convolutional networks for images, speech, and time series[J].
The handbook of brain theory and neural networks, 1995, 3361(10).
[39] Bouvrie J. Notes on convolutional neural networks[J]. 2006.
[40] Lee H, Grosse R, Ranganath R, et al. Convolutional deep belief networks for
scalable unsupervised learning of hierarchical representations[C]//Proceedings of
the 26th Annual International Conference on Machine Learning. .[S.l.]: [s.n.] ,
2009:609โ€“616.
[41] Krizhevsky A, Sutskever I, Hinton G E. Imagenet classi๏ฌcation with deep con-
volutional neural networks[C]//Advances in neural information processing systems.
.[S.l.]: [s.n.] , 2012:1097โ€“1105.
[42] Kruskal J B. Multidimensional scaling by optimizing goodness of ๏ฌt to a nonmetric
hypothesis[J]. Psychometrika, 1964, 29(1):1โ€“27.
[43] Simard P Y, Steinkraus D, Platt J C. Best p ractices for convolutional neural networks
applied to visual document analysis[C]//null. .[S.l.]: [s.n.] , 2003:958.
- 107 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
[44] Baldi P, Sadowski P J. Understanding Dropout[C] //Advances in Neural Information
Processing Systems. .[S.l.]: [s.n.] , 2013:2814โ€“2822.
[45] Goodfellow I J, Warde-Farley D, Mirza M, et al. Maxout networks[J]. arXiv preprint
arXiv:1302.4389, 2013.
[46] Tenenbaum J B, De Silva V, Langford J C. A global geometric framework for non-
linear dimensionality reduction[J]. Science, 2000, 290(5500):2319โ€“2323.
[47] Roweis S T, Saul L K. Nonlinear dimensionality reduction by locally linear embed-
ding[J]. Science, 2000, 290(5500):2323โ€“2326.
[48] Sch
ยจ
olkopf B, Mika S, Smola A, et al. Kernel PCA pattern reconstruction via
approximate pre-images[M]//ICANN 98.[S.l.]: Springer, 1998:147โ€“152.
[49] Mnih V. Cudamat: a CUDA-based matrix class for python[J]. Department of Com-
puter Science, University of Toronto, Tech. Rep. UTML TR, 2009, 4.
[50] Tieleman T. Gnumpy: an easy way to use GPU boards in Python[J]. Department of
Computer Science, University of Toronto, 2010.
[51] Kl
ยจ
ockner A, Pinto N, Lee Y, et al. PyCUDA and PyOpenCL: A Scripting-Based
Approach to GPU Run-Time Code Generation[J]. Parallel Computing, 2012,
38(3):157โ€“174.
[52] Jia Y, Shelhamer E, Donahue J, et al. Ca๏ฌ€e: Convolutional Architecture for Fast
Feature Embedding[J]. arXiv preprint arXiv:1408.5093, 2014.
[53] Shane Cook ๅŽŸ่‘—, ่‹็ปŸๅŽ ็ญ‰่ฏ‘. CUDAๅนถ่กŒ็จ‹ๅบ่ฎพ่ฎกGPU็ผ–็จ‹ๆŒ‡ๅ—[M]. ๅŒ—ไบฌ:
ๆœบๆขฐๅทฅไธšๅ‡บ็‰ˆ็คพ, 2014.
[54] Jason Sanders, Edward Kandrot ๅŽŸ่‘—, ่‚้›ชๅ†› ็ญ‰่ฏ‘. GPU้ซ˜ๆ€ง่ƒฝ็ผ–็จ‹CUDAๅฎž
ๆˆ˜[M]. ๅŒ—ไบฌ: ๆœบๆขฐๅทฅไธšๅ‡บ็‰ˆ็คพ, 2011.
[55] LeCun Y, Cortes C. MNIST handwritten digit database[J]. AT&T Labs [Online].
Available: http://yann. lecun. com/exdb/mnist, 2010.
[56] Krizhevsky A, Hinton G. Learning multiple layers of features from tiny images[J].
2009.
[57] Krizhevsky A, Hinton G. CIFAR-10 database[J]. Canadian Instistute for Advanced
Resserch [Online]. Available: http://www.cs.toronto.edu/ kriz/cifar.html, 2009.
- 108 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰ๅŽŸๅˆ›ๆ€งๅฃฐๆ˜Ž
ๆœฌไบบ้ƒ‘้‡ๅฃฐๆ˜Ž๏ผš ๅœจๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆ”ป่ฏปๅญฆๅฃซๅญฆไฝๆœŸ้—ด๏ผŒๆ‰€ๆไบค็š„ๆฏ•ไธš่ฎพ่ฎก
๏ผˆ่ฎบๆ–‡๏ผ‰ใ€Šๆทฑๅบฆๅญฆไน ๅœจๅ›พๅƒ่ฏ†ๅˆซไธญ็š„ๅบ”็”จใ€‹๏ผŒๆ˜ฏๆœฌไบบๅœจๅฏผๅธˆๆŒ‡ๅฏผไธ‹็‹ฌ็ซ‹่ฟ›่กŒ็ ”็ฉถๅทฅ
ไฝœๆ‰€ๅ–ๅพ—็š„ๆˆๆžœใ€‚ๅฏนๆœฌๆ–‡็š„็ ”็ฉถๅทฅไฝœๅšๅ‡บ้‡่ฆ่ดก็Œฎ็š„ไธชไบบๅ’Œ้›†ไฝ“๏ผŒๅ‡ๅทฒๅœจๆ–‡ไธญไปฅ
ๆ˜Ž็กฎๆ–นๅผๆณจๆ˜Ž๏ผŒๅ…ถๅฎƒๆœชๆณจๆ˜Ž้ƒจๅˆ†ไธๅŒ…ๅซไป–ไบบๅทฒๅ‘่กจๆˆ–ๆ’ฐๅ†™่ฟ‡็š„็ ”็ฉถๆˆๆžœ๏ผŒไธๅญ˜ๅœจ
่ดญไนฐใ€็”ฑไป–ไบบไปฃๅ†™ใ€ๅ‰ฝ็ชƒๅ’Œไผช้€ ๆ•ฐๆฎ็ญ‰ไฝœๅ‡่กŒไธบใ€‚
ๆœฌไบบๆ„ฟไธบๆญคๅฃฐๆ˜Žๆ‰ฟๆ‹…ๆณ•ๅพ‹่ดฃไปปใ€‚
ไฝœ่€…็ญพๅ๏ผš ๆ—ฅๆœŸ๏ผš ๅนด ๆœˆ ๆ—ฅ
- 109 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
่‡ด ่ฐข
้ฆ–ๅ…ˆๆˆ‘้œ€่ฆๆ„Ÿ่ฐขๆˆ‘็š„ๅฏผๅธˆๆจๆ—ญไธœๅ…ˆ็”Ÿใ€‚ๅœจ่ฟ™ไธช่ฏพ้ข˜ๅผ€ๅง‹ไน‹ๅ‰ๆˆ‘ๅ’Œๆจ่€ๅธˆๅฏนๆทฑ
ๅบฆๅญฆไน ้ƒฝๆฒกๆœ‰่ฟ‡ๅคš็š„ๆŽฅ่งฆ๏ผŒๆ•ดไธช่ฏพ้ข˜็ ”็ฉถ่ฟ‡็จ‹ไธญๆˆ‘ไปฌๅคšๆฌก่ฟ›่กŒ่ฎจ่ฎบ๏ผŒๅ…ฑๅŒๅญฆไน ใ€‚
ๆจ่€ๅธˆๅฏนๆˆ‘ๅๅˆ†ไฟกไปป๏ผŒๅนถไธ่ฟ‡ๅคšๅœฐๅนฒ้ข„ๆˆ‘็š„ๅทฅไฝœๅ†…ๅฎน๏ผŒ่ฎฉๆˆ‘้šๅ…ด่ถฃๅฑ•ๅผ€็ ”็ฉถ๏ผŒๅช
ๅœจๅ…ณ้”ฎๅœฐๆ–นไธบๆˆ‘ๆŒ‡ๅฏผ๏ผŒๅนถไธ”ๆทฑไฟกๆˆ‘็š„ๅฎž้ชŒ่ƒฝๆˆๅŠŸใ€‚ๆ„Ÿ่ฐขๆจ่€ๅธˆๅฏนๆˆ‘็š„ไฟกไปปไธŽๆ”ฏๆŒ๏ผŒ
่ฎฉๆˆ‘ๆœ‰่ถณๅคŸๅคš็š„ๆ—ถ้—ดไธŽไฟกๅฟƒๆฅๆทฑๅ…ฅ็ ”็ฉถ่ฟ™ไธช่ฏพ้ข˜๏ผŒ็‰นๆญค่‡ดๆ•ฌใ€‚
ๅ…ถๆฌกๆˆ‘้œ€่ฆๆ„Ÿ่ฐข่ฎก็ฎ—ๆœบๅญฆ้™ข็กฌไปถๅฎž้ชŒๅฎค็š„้™ˆๆ…ง้นๅ…ˆ็”Ÿใ€‚้™ˆ่€ๅธˆๆ˜ฏๆˆ‘ๅคงๅญฆๅ››ๅนด
็š„ๆ€ๆƒณๅฏ่’™ๆ•™ๅธˆ๏ผŒไป–ๆ•™ไผšไบ†ๆˆ‘ๅฆ‚ไฝ•ๆ€่€ƒไปฅๅŠไบบ็”Ÿ็š„ๆ„ไน‰๏ผŒไป–ๆœ‰่ถฃ็š„ใ€Š่ฎก็ฎ—ๆœบ็ป„ๆˆ
ๅŽŸ็†ใ€‹่ฏพ็จ‹ๆœ€็ปˆไฝฟๆˆ‘่ตฐไธŠ่ฎก็ฎ—ๆœบ็š„้“่ทฏ๏ผŒๅฆ‚ๆžœๆฒกๆœ‰้‡ๅˆฐ้™ˆ่€ๅธˆ๏ผŒๆˆ–่ฎธๅคงๅญฆๅ››ๅนดๆˆ‘
้ƒฝๆ‰พไธๅˆฐ่‡ชๅทฑๅ…ด่ถฃๆ‰€ๅœจใ€‚้™ˆ่€ๅธˆไธบๆˆ‘ๆไพ›ไบ†่ˆ’้€‚็š„ๅฎž้ชŒๅฎคๆกไปถไธŽ่ฎก็ฎ—่ต„ๆบ๏ผŒๅœจ่ฟ™
ไธชๅฎž้ชŒๅฎคไธญๆˆ‘ๅฎŒๆˆไบ†่ฎบๆ–‡็š„ๅคง้ƒจๅˆ†็ ”็ฉถๅทฅไฝœ๏ผŒๅ†ๆฌกๆ„Ÿ่ฐข้™ˆ่€ๅธˆ็š„ๆ”ฏๆŒไธŽๅธฎๅŠฉใ€‚
็‰นๅˆซ่ฆๆ„Ÿ่ฐข่ฎก็ฎ—ๆœบๅญฆ้™ขๆจกๅผ่ฏ†ๅˆซ็ ”็ฉถไธญๅฟƒ็š„ๅˆ˜ๅฎถ้”‹ๅ…ˆ็”Ÿใ€‚ๆˆ‘ๆ›พๆ—ๅฌ่ฟ‡ๅˆ˜่€ๅธˆ
็š„ใ€Šๆจกๅผ่ฏ†ๅˆซใ€‹่ฏพ็จ‹๏ผŒๅˆ˜่€ๅธˆ่ฏพๅ ‚ไธŠไธฅ่ฐจ็š„ๆŽˆ่ฏพๆ–นๅผ๏ผŒไฟกๆ‰‹ๆ‹ˆๆฅ็š„ๅ…ฌๅผๆŽจๅฏผไฝฟๆˆ‘
ๆŠ˜ๆœใ€‚ๆ‰ฟ่’™ๅˆ˜่€ๅธˆไธๅซŒๅผƒๆˆ‘ๅญฆ่ฏ†็–ๆต…๏ผŒๅœจ่ฏพๅŽไปไธบๆˆ‘่งฃๆƒ‘้‡Š็–‘๏ผŒๅœจ็™พๅฟ™ไน‹ไธญๆŠฝๅ‡บ
ๆ—ถ้—ดๅธฎๆˆ‘ๅฎก้˜…่ฎบๆ–‡๏ผŒๆˆ‘็š„ๆ„Ÿๆฟ€ไน‹ๆƒ…้šพไปฅ่จ€่กจใ€‚
ๆˆ‘่ฟ˜้œ€่ฆๆ„Ÿ่ฐข่ฎก็ฎ—ๆœบๅญฆ้™ข่‡ช็„ถ่ฎก็ฎ—ๅฎž้ชŒๅฎค็š„ๅˆ˜ๆ‰ฌๅ…ˆ็”Ÿ๏ผŒๅˆ˜่€ๅธˆ็š„ใ€Šๆœบๅ™จๅญฆ
ไน ใ€‹่ฏพ็จ‹ๆทฑๅ…ฅๆต…ๅ‡บ๏ผŒ็”ŸๅŠจๅœฐๅฐ†ๆžฏ็‡ฅๅคๆ‚็š„ๆ•ฐๅญฆ่ฏญ่จ€ๅฝข่ฑกๅŒ–๏ผŒๅœจๅนดๅˆๆˆ‘ๅฎž้ชŒ้‡ๅˆฐ็“ถ
้ขˆๆ—ถ็ป™ไบˆๆˆ‘้ผ“ๅŠฑไธŽๅปบ่ฎพๆ€งๆ„่ง๏ผŒๅนถๅธฆๆˆ‘้ข†็•ฅไบ†ๅฝ“ๅ‰ๆœบๅ™จๅญฆไน ็š„็ ”็ฉถ่ฟ›ๅฑ•ไธŽ็ƒญ็‚น๏ผŒ
ๅๅˆ†ๆ„Ÿ่ฐขไป–็š„ๆ— ็งๅธฎๅŠฉใ€‚
ๆœ€ๅŽๆˆ‘่ฟ˜้œ€่ฆๆ„Ÿ่ฐขๅœจๅฎž้ชŒๅฎค้‡ๅˆฐ็š„ๅ‡ ไฝไธ็Ÿฅๅ็š„่€ๅธˆ๏ผŒๅ…ถไธญไธ€ไฝ่€ๅธˆไธบๆˆ‘่งฃ
็ญ”ไบ†ๆœบๅ™จๅญฆไน ไธŽๆจกๅผ่ฏ†ๅˆซไธค่€…้—ด็š„ๅทฎๅผ‚ๆ€ง๏ผŒ่ฟ™ไธช้—ฎ้ข˜้•ฟๆœŸๅ›ฐๆ‰ฐ็€ๆˆ‘ใ€‚ๅฆไธ€ไฝไธŽๆˆ‘
ไธ€ๅŒ่ฎจ่ฎบ็š„่€ๅธˆ๏ผŒๆˆ‘ไฟฉ็š„่ฎจ่ฎบไฝฟๆˆ‘ๅฏนๆทฑๅบฆๅญฆไน ไธญ็š„ไธ€ไบ›ๆจกๆฃฑไธคๅฏ็š„ๆฆ‚ๅฟตๆธ…ๆ™ฐๅŒ–ใ€‚
่ฟ˜ๆœ‰ๅคšไฝ็ป™ไบˆๆˆ‘้ผ“ๅŠฑ็š„่€ๅธˆ๏ผŒ้—ๆ†พ็š„ๆ˜ฏๆˆ‘ๅนถไธ็Ÿฅ้“ไป–ไปฌ็š„ๅง“ๅ๏ผŒไฝ†ๆˆ‘ไป้œ€่ฆๅฏนไป–
ไปฌ่กจ็คบๅด‡้ซ˜็š„ๆ•ฌๆ„ใ€‚
ๆˆ‘็š„ๆ–‡ๅญ—่กจ่พพ่ƒฝๅŠ›ไธๅผบ๏ผŒๅคงๅฎถไปŽๆˆ‘็š„่ฎบๆ–‡ไนŸๅฏไปฅๆ„Ÿๅ—ๅˆฐ๏ผŒๆ–‡ๅญ—ไธ่ถณไปฅ่กจ่พพๆˆ‘
็š„ๆ„Ÿๆฟ€ไน‹ๆƒ…๏ผŒๆฒกๆœ‰ไปฅไธŠๅคšไฝ่€ๅธˆไปฅๅŠๆˆ‘่บซ่พน็š„ๅŒๅญฆ็ป™ไบˆๆˆ‘็š„ๆ”ฏๆŒ๏ผŒ่ฟ™็ฏ‡่ฎบๆ–‡ๅฐ†ๆ— 
ๆณ•ๅฎŒๆˆใ€‚ๆœ€ๅŽ็š„ๆœ€ๅŽ๏ผŒ่ฎฉๆˆ‘ๅ†ไธ€ๆฌกๅฐ†ๆˆ‘็š„ๆ•ฌๆ„็Œฎ็ป™ไปฅไธŠ็š„ๅคšไฝ่€ๅธˆไปฅๅŠๅŒๅญฆใ€‚
- 110 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
้™„ๅฝ• A ๆทฑๅบฆ็ฝฎไฟก็ฝ‘็ปœๆบไปฃ็ 
ๆœฌ้™„ๅฝ•ไธญๆˆ‘ไปฌๆไพ›ๆทฑๅบฆ็ฝฎไฟก็ฝ‘็ปœๅœจMNISTไธญ็š„ๅฎž็Žฐๆบไปฃ็ ใ€‚ๅœจ่ฟ™ไธชๅฎž้ชŒไธญ๏ผŒ
ๆˆ‘ไปฌไฝฟ็”จGnumpyๅบ“ไธบ็จ‹ๅบๅŠ ้€Ÿ๏ผŒไฝฟๅพ—ๅŽŸๆœฌ้œ€่ฆๆ‰ง่กŒๅคง็บฆ้œ€่ฆไธ€ไธชๆœˆ็š„่ฎญ็ปƒๅช้œ€่ฆ
ๅœจ1ๅคฉไน‹ๅ†…ๅฎŒๆˆใ€‚ๅ‡บไบŽ้กต้ข้™ๅˆถ๏ผŒๆˆ‘ไปฌๅฏนไปฃ็ ่ฟ›่กŒไบ†ไธ€ไบ›ๆ ผๅผ่ฐƒๆ•ด๏ผŒ่ฟ™ไฝฟๅพ—ไปฃ็ ๆ ผ
ๅผ็œ‹่ตทๆฅๅนถไธ่ง„่Œƒใ€‚ๆญคๅค–๏ผŒไธบไบ†้กต้ข็ฎ€ๆด๏ผŒๆˆ‘ไปฌๅˆ ้™คไบ†ไธ€้ƒจๅˆ†ๆ— ็”จไปฃ็ ๏ผŒ็”ฑไบŽๅœจ
ๆˆ‘ๅ†™ไธ‹่ฟ™ไบ›ไปฃ็ ็š„ๆ—ถๅ€™๏ผŒๅชๆœ‰ๆˆ‘ๅ’ŒไธŠๅธ็Ÿฅ้“่ฟ™ไบ›ไปฃ็ ็ฉถ็ซŸๅนฒไบ†ไป€ไนˆ่€Œ็Žฐๅœจๅชๅ‰ฉไธ‹
ไธŠๅธ็Ÿฅ้“ไบ†๏ผŒๆ‰€ไปฅๆˆ‘ไธ็กฎๅฎšๆ˜ฏๅฆๅˆ ๆŽ‰ไบ†ไธ€ไบ›็œ‹่ตทๆฅๆ— ็”จไฝ†ๆœ‰็”จ็š„ไปฃ็ ใ€‚ๅ› ๆญค่ฟ™ไบ›
ไปฃ็ ไธไธ€ๅฎš่ƒฝๆ‰ง่กŒๆˆๅŠŸ๏ผŒไฝ†ๆ˜ฏ่ฏป่€…ๅฏๆŒ‰็…ง่ฟ™ไบ›ไปฃ็ ็š„ๅคงไฝ“ๆ€่ทฏ่‡ช่กŒๆ นๆฎ่‡ช่บซ็š„่ฏญ
่จ€่ƒŒๆ™ฏ้‡ๆ–ฐๅฎž็Žฐไธ€้ใ€‚
่ฟ™ๅ‡ ไธชๆ–‡ไปถไธญ๏ผŒMain.pyๆ˜ฏๆ•ดไธช็จ‹ๅบ็š„ไธปๅ…ฅๅฃใ€‚MNIST.pyๆ˜ฏไธ€ไธชๅทฅๅ…ทๆ–‡ไปถ๏ผŒไธป
่ฆๆไพ›่Žทๅ–ๆ•ฐๆฎ้›†ไปฅๅŠ็ป˜ๅˆถๅ›พๅƒๅŠŸ่ƒฝ๏ผŒ้œ€่ฆๆณจๆ„็š„ๆ˜ฏ๏ผŒๅฏนไบŽMNIST๏ผŒๆˆ‘ไปฌๅทฒ็ปๅฐ†
ๆ•ฐๆฎ็š„ๅ‰ๅ‡ ไธชๅญ—่Š‚ไธญ็š„้ญ”ๆ•ฐๅŽปๆŽ‰ไบ†๏ผŒๆ‰€ไปฅๅฆ‚ๆžœไฝ ็š„ๆ•ฐๆฎๆ˜ฏ็›ดๆŽฅไปŽMNISTๅฎ˜็ฝ‘ไธŠ่Žท
ๅ–็š„่ฏ๏ผŒๅœจ่ฏปๅ–ๆ•ฐๆฎ็š„ๆ—ถๅ€™้œ€่ฆ่ทณ่ฟ‡ๅ‡ ไธชๅญ—่Š‚๏ผŒๅ…ทไฝ“็š„ๅ‚่€ƒๅฎ˜ๆ–นๆ–‡ๆกฃใ€‚RBM.pyๆ˜ฏ
ๅ—้™็Žปๅฐ”ๅ…นๆ›ผๆœบ็š„็ฑปๆ–‡ไปถใ€‚softmax.pyๆ˜ฏsoftmaxๅˆ†็ฑปๅ™จ็š„็ฑป๏ผŒๅฎƒ็ปงๆ‰ฟไบŽRBM่ฟ™ไธช
็ฑป๏ผŒๅนถไธ”ๅฏนtraining()ๆ–นๆณ•่ฟ›่กŒ้‡ๅ†™๏ผŒไปŽ่€Œๅฎž็Žฐๅคšๆ€ๆ€งใ€‚DBNs.pyๆ˜ฏๆทฑๅบฆ็ฝฎไฟก็ฝ‘็ปœ็š„
็ฑปๆ–‡ไปถ๏ผŒๅฎƒ็”ฑๅคšไธชRBMไธŽไธ€ไธชsoftmax็ป„ๆˆ๏ผŒๅฏๅฏนๅ…ถๆ‰ง่กŒๅˆ†ๅฑ‚็š„้ข„่ฎญ็ปƒไธŽๅ…จๅฑ€็š„ๆƒ
ๅ€ผๅพฎ่ฐƒใ€‚
ไปฃ็  A.1 Main.py
1 from numpy import โˆ—
2 from DBNs impo rt โˆ—
3 i mport numpy a s np
4
5 nodeNum = [ 7 8 4 , 62 1 , 98 2 , 6 0 0 , 41 0 , 5 6 9 , 1 0 ]
6 dbn = DBNs( nodeNum )
7 # dbn = DBNs ( nodeNum , l o a d P a r a m e t e r =Tr ue )
8 dbn . p r e T r a i n i n g ( )
9 # dbn . r e c o n s t r u c t ( )
10 dbn . r e c o g n i z e ( )
- 111 -
ไปฃ็  A.2 MNIST.py
1 from s t r u c t imp ort โˆ—
2 from numpy import โˆ—
3 from s c i p y i mport mi s c
4 i mport Image
5
6 d e f g e t D a t a ( ) :
7 t r a i n i n g F i l e = open ( r โ€™ t r a i n i n g D a t a โ€™ , โ€™ r b โ€™ )
8 t r a i n i n g D a t a = f r o m f i l e ( t r a i n i n g F i l e , d t y p e = u i n t 8 )
9 . r e s h a p e ( โˆ’1 , 7 8 4)
10 t r a i n i n g F i l e . c l o s e ( )
11
12 t r a i n i n g L a b e l F i l e = open ( r โ€™ t r a i n i n g L a b e l โ€™ , โ€™ r b โ€™ )
13 t r a i n i n g L a b e l = f r o m f i l e ( t r a i n i n g L a b e l F i l e , d t y p e= u i n t 8 )
14 t r a i n i n g L a b e l F i l e . c l o s e ( )
15
16 t e s t I m a g e F i l e = open ( r โ€™ t e s t D a t a โ€™ , โ€™ r b โ€™ )
17 t e s t D a t a = f r o m f i l e ( t e s t I m a g e F i l e , d t y p e = u i n t 8 )
18 . r e s h a p e ( โˆ’1 , 7 8 4)
19 t e s t I m a g e F i l e . c l o s e ( )
20
21 t e s t L a b e l F i l e = open ( r โ€™ t e s t L a b e l โ€™ , โ€™ r b โ€™ )
22 t e s t L a b e l = f r o m f i l e ( t e s t L a b e l F i l e , d t y p e = u i n t 8 )
23 t e s t L a b e l F i l e . c l o s e ( )
24 r e t u r n t r a i n i n g D a t a , t r a i n i n g L a b e l , t e s t D a t a , t e s t L a b e l
25
26 d e f c r e a t e B i n D a t a ( t r a i n i n g D a t a , t r a i n i n g L a b e l ,
27 t e s t D a t a , t e s t L a b e l ) :
28 t r a i n i n g D a t a = ( 25 5 โˆ’ t r a i n i n g D a t a ) / 2 5 5 . 0
29 s c a l e = random . random ( t r a i n i n g D a t a . s h a p e )
30 t r a i n i n g D a t a [ g r e a t e r ( t r a i n i n g D a t a , s c a l e ) ] = 1
31 t r a i n i n g D a t a [ l e s s e q u a l ( t r a i n i n g D a t a , s c a l e ) ] = 0
32 t r a i n i n g D a t a = u i n t 8 ( t r a i n i n g D a t a )
- 112 -
33 f p = open ( r โ€™ b i n T r a i n i n g D a t a 0 โ€™ , โ€™wb โ€™ )
34 f p . w r i t e ( t r a i n i n g D a t a )
35 f p . c l o s e ( )
36
37 t e s t D a t a = (2 5 5 โˆ’ t e s t D a t a ) / 2 5 5 . 0
38 s c a l e = random . random ( t e s t D a t a . s h ap e )
39 t e s t D a t a [ g r e a t e r ( t e s t D a t a , s c a l e ) ] = 1
40 t e s t D a t a [ l e s s e q u a l ( t e s t D a t a , s c a l e ) ] = 0
41 t e s t D a t a = u i n t 8 ( t e s t D a t a )
42 f p = open ( r โ€™ b i n T e s t D a t a โ€™ , โ€™wb โ€™ )
43 f p . w r i t e ( t e s t D a t a )
44 f p . c l o s e ( )
45
46 d e f g e t B i n D a t a ( ) :
47 t r a i n i n g I m a g e F i l e = open ( r โ€™ b i n T r a i n i n g D a t a 0 โ€™ , โ€™ r b โ€™ )
48 t r a i n i n g D a t a = f r o m f i l e ( t r a i n i n g I m a g e F i l e , d t y p e= u i n t 8 )
49 . r e s h a p e ( โˆ’1 , 7 8 4)
50 t r a i n i n g I m a g e F i l e . c l o s e ( )
51
52 t r a i n i n g L a b e l F i l e = open ( r โ€™ t r a i n i n g L a b e l โ€™ , โ€™ r b โ€™ )
53 t r a i n i n g L a b e l = f r o m f i l e ( t r a i n i n g L a b e l F i l e , d t y p e= u i n t 8 )
54 t r a i n i n g L a b e l F i l e . c l o s e ( )
55
56 t e s t I m a g e F i l e = open ( r โ€™ b i n T e s t D a t a โ€™ , โ€™ r b โ€™ )
57 t e s t D a t a = f r o m f i l e ( t e s t I m a g e F i l e , d t y p e = u i n t 8 )
58 . r e s h a p e ( โˆ’1 , 7 8 4)
59 t e s t I m a g e F i l e . c l o s e ( )
60
61 t e s t L a b e l F i l e = open ( r โ€™ t e s t L a b e l โ€™ , โ€™ r b โ€™ )
62 t e s t L a b e l = f r o m f i l e ( t e s t L a b e l F i l e , d t y p e = u i n t 8 )
63 t e s t L a b e l F i l e . c l o s e ( )
64 r e t u r n d o u b l e ( t r a i n i n g D a t a ) , t r a i n i n g L a b e l ,
65 d o u b l e ( t e s t D a t a ) , t e s t L a b e l
- 113 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
66 d e f l o a d T r a i n i n g D a t a ( l a y e r , d i me n si o n ) :
67 f i le N a m e = โ€™ b i n T r a i n i n g D a t a โ€™ + s t r ( l a y e r )
68 f p = open ( f il eN ame , โ€™ r b โ€™ )
69 t r a i n i n g D a t a = f r o m f i l e ( fp , d t y p e = u i n t 8 )
70 . r e s h a p e ( โˆ’1 , d i me n s i o n )
71 f p . c l o s e ( )
72 r e t u r n t r a i n i n g D a t a
73
74 d e f c r e a t e I m a g e ( d a t a , imageName = โ€™ temp โ€™ , mode = โ€™ j p g โ€™ ,
75 t r a n s = True , showNow = F a l s e ) :
76 i f t r a n s == Tru e :
77 ima ge = 255 โˆ’ d a t a
78 e l s e :
79 ima ge = d a t a
80 image . s ha p e = 2 8 , 28
81 imageName = imageName + โ€™ . โ€™ + mode
82 misc . im s ave ( imageName , image )
83 i f show Now == Tr u e :
84 ima ge = Image . open ( imageName )
85 ima ge . show ( )
86 d e f c r e a t e B i n I m a g e ( da t a , imageName = โ€™ temp โ€™ , mode = โ€™ j p g โ€™ ,
87 t r a n s = F a l s e , sh owNow = F a l s e ) :
88 i f t r a n s == Tru e :
89 ima ge = f l o a t 6 4 ( 1 โˆ’ d a t a )
90 e l s e :
91 ima ge = f l o a t 6 4 ( d a t a )
92 image . s ha p e = 2 8 , 28
93 imageName = imageName + โ€™ . โ€™ + mode
94 misc . im s ave ( imageName , image )
95 i f show Now == Tr u e :
96 ima ge = Image . open ( imageName )
97 ima ge . show ( )
- 114 -
ไปฃ็  A.3 RBM.py
1 i mport numpy a s np
2 i mport gnumpy a s GPU
3 from s c i p y i mport s t a t s
4 i mport s c i p y . weave a s weave
5 from MNISTData impor t โˆ—
6
7 c l a s s RBM:
8 d e f i n i t ( s e l f , l a y e r , v is Hi d , k =1 ,
9 l e a r n i n g R a t e = 0 . 0 0 1 , maxEpoch = 1 0 0 ,
10 l o a d P a r a m e t e r = F a l s e ) :
11 s e l f . l a y e r = l a y e r
12 s e l f . numVis = v i s H i d [ 0 ]
13 s e l f . numHid = v i s H i d [ 1 ]
14 s e l f . k = k
15 s e l f . l e a r n i n g R a t e = l e a r n i n g R a t e
16 s e l f . maxEpoch = maxEpoch
17 i f l o a d P a r a m e t e r == F a l s e :
18 p r i n t โ€ i n i t โ€ , s t r ( l a y e r )+ โ€ t h RBMโ€™ s p a r a m e t e r s โ€
19 Ga u s s i a n = s t a t s . norm ( 0 , 0 . 0 1 )
20 s e l f .W = np . a r r a y ( G a u s s i a n . r v s (
21 ( s e l f . numHid , s e l f . numVis ) ) , np . f l o a t 3 2 )
22 t r a i n i n g D a t a = l o a d T r a i n i n g D a t a ( s e l f . l a y e r ,
23 s e l f . numVis )
24 p = np . mean ( t r a i n i n g D a t a , a x i s = 0 )
25 p = np . t r u e d i v i d e ( p , s u b t r a c t ( 1 . 0 0 0 1 , p ) )
26 s e l f . v i s B a i s = np . l o g ( p ) . r e s h a p e ( s e l f . numVis , 1 )
27 s e l f . h i d B a i s = np . z e r o s ( ( s e l f . numHid , 1 ) , d o u bl e )
28 s e l f . f e a t u r e E x t r a c t ( )
29 e l s e :
30 p r i n t โ€ l o a d โ€ , s t r ( l a y e r )+ โ€ t h RBMโ€™ s p a r e m e t e r s โ€
31 s e l f .W, s e l f . v i s B a i s , s e l f . h i d B a i s =
32 s e l f . l o a d P a r a m e t e r ( )
- 115 -
33 d e f t r a i n i n g ( s e l f ) :
34 from gnumpy import l o g i s t i c
35 de f s a mp le H id Giv en V is ( w eig h t , v t , h i d B a i s ) :
36 h = GPU . l o g i s t i c (GPU . d o t ( w ei g ht , v t ) + h i d B a i s )
37 hSample = h . r a n d ( ) < h
38 r e t u r n hSample
39 de f s a mp le V is Giv en H id ( w eig h t , h t , v i s B a i s ) :
40 v = GPU . l o g i s t i c (GPU . d o t ( w e i g h t . T , h t )+ v i s B a i s )
41 vSample = v . r a n d ( ) < v
42 r e t u r n vSample
43
44 S = l o a d T r a i n i n g D a t a ( s e l f . l a y e r , s e l f . numVis )
45 S = np . f l o a t 3 2 ( S )
46 maxBatch = 100
47 S . s h ap e = maxBatch , โˆ’1 , s e l f . numVis
48 momentum = 0 . 9
49 e t a = 0 . 0 0 1
50
51 f o r e p och i n r a n g e ( s e l f . maxEpoch ) :
52 w e i g h t = GPU . g a r r a y ( s e l f .W)
53 v i s B a i s = GPU . g a r r a y ( s e l f . v i s B a i s )
54 h i d B a i s = GPU . g a r r a y ( s e l f . h i d B a i s )
55 d e l t a W e i g h t = GPU . z e r o s ( w e i g h t . s h a p e )
56 d e l t a V i s B a i s = GPU . z e r o s ( s e l f . v i s B a i s . s h a p e )
57 d e l t a H i d B a i s = GPU . z e r o s ( s e l f . h i d B a i s . s h ap e )
58 f o r b a t c h i n r a n g e ( maxBatch ) :
59 v 0 = GPU . g a r r a y ( S [ b a t c h ] . T )
60 v t = GPU . g a r r a y ( S [ b a t c h ] . T )
61 f o r i i n r a n g e ( s e l f . k ) :
62 h t =s am p le Hi d Gi ve n Vi s ( we i ght , v t , h i d B a i s )
63 v t =s am p le Vi s Gi ve n Hi d ( we i ght , h t , v i s B a i s )
64 p r o b 0 = GPU . l o g i s t i c (GPU . d o t ( w e ig h t , v 0 )
65 + h i d B a i s )
- 116 -
66 p r o b t = GPU . l o g i s t i c (GPU . d o t ( w e igh t , v t )
67 + h i d B a i s )
68 d e l t a W e i g h t = momentumโˆ— d e l t a W e i g h t + e t a
69 โˆ— (GPU . d o t ( p ro b 0 , v 0 . T )
70 โˆ’ GPU . d o t ( p r o b t , v t . T ) )
71 d e l t a V i s B a i s = momentumโˆ— d e l t a V i s B a i s + e t a
72 โˆ— ( v 0 . sum ( 1 ) โˆ’ v t . sum ( 1 ) )
73 . r e s h a p e ( โˆ’1 , 1 )
74 d e l t a H i d B a i s = momentumโˆ— d e l t a H i d B a i s + e t a
75 โˆ—( p r o b 0 . sum (1) โˆ’ p r o b t . sum ( 1 ) )
76 . r e s h a p e ( โˆ’1 , 1 )
77 w e i g h t += d e l t a W e i g h t / maxBatch
78 h i d B a i s += d e l t a H i d B a i s / maxBatch
79 v i s B a i s += d e l t a V i s B a i s / maxBatch
80 s e l f .W = w e i g h t . a s n u m p y a r r a y ( )
81 s e l f . v i s B a i s = v i s B a i s . a s n u m p y a r r a y ( )
82 s e l f . h i d B a i s = h i d B a i s . a s n u m p y a r r a y ( )
83 p r i n t epoch , โ€™ epoch c o m p l e t e ! โ€™
84 s e l f . s a v e P a r a m e t e r ( )
85 p r i n t โ€ t r a i n i n g โ€ , s t r ( s e l f . l a y e r )+ โ€ t h โ€ , โ€RBM c o m p l e t e โ€
86 s e l f . f e a t u r e E x t r a c t ( )
87
88 d e f s a v e P a r a m e t e r ( s e l f ) :
89 f p = open ( r โ€™ w e i g h t โ€™ + s t r ( s e l f . l a y e r ) , โ€™wb โ€™ )
90 f p . w r i t e ( s e l f .W)
91 f p . c l o s e ( )
92 f p = open ( r โ€™ v i s B a i s โ€™ + s t r ( s e l f . l a y e r ) , โ€™wb โ€™ )
93 f p . w r i t e ( s e l f . v i s B a i s )
94 f p . c l o s e ( )
95 f p = open ( r โ€™ h i d B a i s โ€™ + s t r ( s e l f . l a y e r ) , โ€™wb โ€™ )
96 f p . w r i t e ( s e l f . h i d B a i s )
97 f p . c l o s e ( )
98 p r i n t โ€ l a y e r โ€ , s e l f . l a y e r , โ€ p a r a m e t e r s had b e e n s a v e โ€
- 117 -
99 d e f l o a d P a r a m e t e r ( s e l f ) :
100 f p = open ( r โ€™ w e ig h t โ€™ + s t r ( s e l f . l a y e r ) , โ€™ r b โ€™ )
101 w e i g h t = f r o m f i l e ( fp , d t y p e = d o u b l e )
102 . r e s h a p e ( s e l f . numHid , s e l f . numVis )
103 f p . c l o s e ( )
104 f p = open ( r โ€™ v i s B a i s โ€™ + s t r ( s e l f . l a y e r ) , โ€™ r b โ€™ )
105 v i s B a i s = f r o m f i l e ( fp , d t y p e = d o u b l e )
106 . r e s h a p e ( s e l f . numVis , 1 )
107 f p . c l o s e ( )
108 f p = open ( r โ€™ h i d B a i s โ€™ + s t r ( s e l f . l a y e r ) , โ€™ r b โ€™ )
109 h i d B a i s = f r o m f i l e ( fp , d t y p e = d o u b l e )
110 . r e s h a p e ( s e l f . numHid , 1 )
111 f p . c l o s e ( )
112 re tu r n we i ght , v i s B a i s , h i d B a i s
113
114 d e f f e a t u r e E x t r a c t ( s e l f , l o w F e a t u r e = None ) :
115 i f l o w F e a t u r e == None :
116 l o w F e a t u r e = l o a d T r a i n i n g D a t a ( s e l f . l a y e r ,
117 s e l f . numVis )
118 numCase = l o w F e a t u r e . s h ap e [ 0 ]
119 h i g h F e a t u r e = z e r o s ( ( numCase , s e l f . numHid ) ,
120 d t y p e = u i n t 8 )
121 f o r c a s e i n r a n g e ( numCase ) :
122 p r ob = 1 . 0 / ( 1 + np . exp (
123 โˆ’ np . d o t ( l o w F e a t u r e [ c a s e ] , s e l f .W. T )
124 โˆ’ s e l f . h i d B a i s . T ) )
125 s c a l e = np . random . random ( p ro b . s h a p e )
126 temp = z e r o s ( p ro b . sh a pe , d t y p e = np . u i n t 8 )
127 temp [ l e s s ( s c a l e , p r ob ) ] = 1
128 h i g h F e a t u r e [ c a s e ] = temp
129
130 f il e N a m e = โ€™ b i n T r a i n i n g D a t a โ€™+ s t r ( s e l f . l a y e r +1)
131 f p = open ( f i leN a me , โ€™wb โ€™ )
- 118 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
132 f p . w r i t e ( h i g h F e a t u r e )
133 f p . c l o s e ( )
134 p r i n t โ€ h i g h f e a t u r e had be e n e x t r a c t e d ! โ€
135 e l s e :
136 pr ob = 1 . 0 / ( 1 + np . exp ( โˆ’np . d o t ( l o w F e a t u r e , s e l f .W. T )
137 โˆ’ s e l f . h i d B a i s . T ) )
138 r e t u r n p ro b
139
140 d e f r e c o n s t r u c t ( s e l f , h i g h F e a t u r e ) :
141 h i g h F e a t u r e . s h a pe = 1 , โˆ’1
142 pr o b = 1 . 0 / ( 1 + np . exp (โˆ’np . d o t ( h i g h F e a t u r e , s e l f .W)
143 โˆ’ s e l f . v i s B a i s . T ) )
144 re tu r n p r ob
- 119 -
ไปฃ็  A.4 softmax.py
1 from RBM impo rt โˆ—
2 from s c i p y . o dr . o d r p ac k import O ut pu t
3
4 c l a s s s o f t m a x (RBM) :
5 d e f i n i t ( s e l f , l a y e r , v is Hi d ,
6 l e a r n i n g R a t e = 0 . 0 0 1 , maxEpoch = 5 ,
7 l o a d P a r a m e t e r = F a l s e ) :
8 s e l f . l a y e r = l a y e r
9 s e l f . numVis = v i s H i d [ 0 ]
10 s e l f . numHid = v i s H i d [ 1 ]
11 s e l f . l e a r n i n g R a t e = l e a r n i n g R a t e
12 s e l f . maxEpoch = maxEpoch
13 i f l o a d P a r a m e t e r == F a l s e :
14 p r i n t โ€ i n i t โ€ , s t r ( l a y e r )+ โ€ t h RBMโ€™ s p a r a m e t e r s โ€
15 G a u s s i a n = s t a t s . norm ( 0 , 0 . 0 1 )
16 s e l f .W = np . a r r a y ( G a u s s i a n . r v s (
17 ( s e l f . numHid , s e l f . numVis ) ) , d o u b l e )
18 t r a i n i n g D a t a = l o a d T r a i n i n g D a t a ( s e l f . l a y e r ,
19 s e l f . numVis )
20 p = np . mean ( t r a i n i n g D a t a , a x i s = 0 )
21 p = np . t r u e d i v i d e ( p , s u b t r a c t ( 1 . 0 0 0 1 , p ) )
22 s e l f . v i s B a i s = np . l o g ( p ) . r e s h a p e ( s e l f . numVis , 1 )
23 s e l f . h i d B a i s = np . z e r o s ( ( s e l f . numHid , 1 ) , d o u bl e )
24 s e l f . s a v e P a r a m e t e r ( )
25 e l s e :
26 p r i n t โ€ l o a d โ€ , s t r ( l a y e r )+ โ€ t h RBMโ€™ s p a r e m e t e r s โ€
27 s e l f .W, s e l f . v i s B a i s , s e l f . h i d B a i s =
28 s e l f . l o a d P a r a m e t e r ( )
29 d e f t r a i n i n g ( s e l f ) :
30 G a u s s i an = s t a t s . norm ( 0 , 0 . 0 0 1 )
31 t r a i n i n g D a t a = l o a d T r a i n i n g D a t a ( s e l f . l a y e r ,
32 s e l f . numVis )
- 120 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
33 t r a i n i n g L a b e l = g e t B i n D a t a ( ) [ 1 ]
34 numCase = t r a i n i n g D a t a . s ha p e [ 0 ]
35 w e i g h t = np . a r r a y ( G a u s s i a n . r v s ( s i z e =( s e l f . numHid ,
36 s e l f . numVis + 1 ) ) ,
37 d t y p e = d o u b l e )
38 f o r e p och i n r a n g e ( s e l f . maxEpoch ) :
39 f o r i i n r a n g e ( numCase ) :
40 sa m ple = t r a i n i n g D a t a [ i ] . r e s h a p e ( โˆ’1 , 1 )
41 t a r g e t = t r a i n i n g L a b e l [ i ]
42 sa m ple = v s t a c k ( ( 1 , sa m pl e ) )
43 t a r g e t O u t = np . exp ( d o t ( w e igh t , s am pl e ) )
44 . r e s h a p e ( โˆ’1)
45 Z = sum ( t a r g e t O u t )
46 t a r g e t O u t = ( t a r g e t O u t / Z ) . r e s h a p e ( โˆ’1 , 1 )
47 d e l t a =โˆ’d o t ( t a r g e t O u t , sa mp le . r e s h a p e ( 1 , โˆ’1 ) )
48 d e l t a [ t a r g e t ] += s a mpl e . r e s h a p e ( โˆ’1 )
49 d e l t a += 0 . 0 0 5 โˆ— w e i g h t
50 w e i g h t += 0 . 0 0 1 โˆ— d e l t a
51 s e l f .W = copy ( w e i g h t [ : , 1 : ]
52 . r e s h a p e ( s e l f .W. s h a p e ) )
53 s e l f . h i d B a i s = copy ( w e i g h t [ : , 0 ] . r e s h a p e (
54 s e l f . h i d B a i s . s h a p e ) )
55 p r i n t epoch , โ€ c o m p l e t e โ€
56 p r i n t โ€ t r a i n i n g โ€ , s t r ( s e l f . l a y e r )+ โ€ t h โ€ , โ€RBM c o m p l e t e โ€
57 s e l f . s a v e P a r a m e t e r ( )
58
59 d e f f e a t u r e E x t r a c t ( s e l f , l o w F e a t u r e ) :
60 pr o b=np . exp ( d o t ( l o w F e a t u r e , s e l f .W. T)+ s e l f . h i d B a i s . T )
61 Z = sum ( p r ob )
62 pr o b = ( p r ob / Z )
63 re tu r n p r ob
- 121 -
ไปฃ็  A.5 DBNs.py
1 from numpy import โˆ—
2 from RBM impo rt โˆ—
3 from s of t ma x import โˆ—
4 from MNISTData impor t โˆ—
5
6 c l a s s DBNs :
7 d e f i n i t ( s e l f , no deNum , l o a d P a r a m e t e r = F a l s e ) :
8 s e l f . r bm P ai r = z i p ( nodeNum [ : โˆ’1 ] , nodeNum [ 1 : ] )
9 rb msNum = l e n ( nodeNum ) โˆ’ 1
10 s e l f . rbms = [ None f o r i i n r a n g e ( rbmsNum ) ]
11 i f l o a d P a r a m e t e r == T ru e :
12 f o r i i n r a n g e ( rbmsNum ) :
13 i f i != rbmsNum โˆ’ 1 :
14 s e l f . rbms [ i ] = RBM( i , s e l f . r bm P ai r [ i ] ,
15 l o a d P a r a m e t e r = True )
16 e l s e :
17 s e l f . rbms [ i ]= s o f t m a x ( i , s e l f . r b m P a i r [ i ] ,
18 l o a d P a r a m e t e r = True )
19 e l s e :
20 f o r i i n r a n g e ( rbmsNum ) :
21 i f i != rbmsNum โˆ’ 1 :
22 s e l f . rbms [ i ] = RBM( i , s e l f . r b m P a i r [ i ] )
23 e l s e :
24 s e l f . rbms [ i ]= s o f t m a x ( i , s e l f . r b m P a i r [ i ] )
25
26 d e f p r e T r a i n i n g ( s e l f ) :
27 f o r rbm i n s e l f . rbms :
28 rbm . t r a i n i n g ( )
29 p r i n t โ€DBNs had pr e โˆ’t r a i n e d c o m p l e t e ! โ€
30
31
32
- 122 -
33 d e f f i n e T u n i n g ( s e l f , maxEpoch = 1 0 ) :
34 import gnumpy a s GPU
35 de f makeBatch ( maxBatch = 1 0 0 ) :
36 t r a i n i n g D a t a = (255 โˆ’ g e t D a t a ( ) [ 0 ] ) / 2 5 5 . 0
37 t r a i n i n g D a t a = g e t B i n D a t a ( ) [ 0 ]
38 t r a i n i n g D a t a = h s t a c k (
39 ( o ne s ( ( t r a i n i n g D a t a . s h a pe [ 0 ] , 1 ) ) ,
40 t r a i n i n g D a t a ) )
41 l a b e l = g e t B i n D a t a ( ) [ 1 ]
42 t r a i n i n g L a b e l = np . z e r o s ( ( numCase , 1 0 ) )
43 t r a i n i n g L a b e l [ [ i f o r i i n r a n g e ( numCase ) ] ,
44 l a b e l ] = 1
45 r e t u r n t r a i n i n g D a t a . r e s h a p e ( maxBatch , โˆ’1 , 7 8 5 ) ,
46 t r a i n i n g L a b e l . r e s h a p e ( maxBatch , โˆ’1 ,10 ) ,
47
48 de f g e t A b s t r a c t ( we i gh t , i n p u t ) :
49 pr ob = [ i n p u t ]
50 f o r W i n we i g h t [ : โˆ’1 ] :
51 temp = GPU . d o t ( p ro b [ โˆ’1 ] , W. T ) . l o g i s t i c ( )
52 temp = h s t a c k ( ( o n es ( ( temp . s ha p e [ 0 ] , 1 ) ) ,
53 temp . a s n u m p y a r r a y ( ) ) )
54 p r ob . append (GPU . g a r r a y ( temp ) )
55 o u t p u t =GPU . exp (GPU . d o t ( p ro b [ โˆ’1 ] , w e i gh t [ โˆ’1 ] . T ) )
56 Z = GPU . sum ( o u t p u t , a x i s = 1 ) . r e s h a p e ( โˆ’1 , 1 )
57 o u t p u t = o u t p u t / Z
58 pr ob . r e v e r s e ( )
59 r e t u r n prob , o u t p u t
60 de f weight2GPU ( ) :
61 w e i g h t = [ ]
62 f o r rbm i n s e l f . rbms :
63 temp=GPU . g a r r a y ( h s t a c k ( ( rbm . h i d B a i s , rbm .W) ) )
64 w e i g h t . ap p e n d ( temp )
65 r e t u r n we i g h t
- 123 -
66 p r i n t โ€ s t a r t t o f i n e t u n i n g โ€
67 maxEpoch = 200
68 maxBatch = 300
69 t r a i n i n g D a t a , t r a i n i n g L a b e l = makeBatch ( maxBatch )
70 numCase = t r a i n i n g D a t a . s ha p e [ 1 ]
71 w e i g h t = weight2GPU ( )
72 e p s i l o n = 0. 9 9 9
73 l e a r n i n g R a t e = 0 . 1
74 t r a i n i n g D a t a = GPU . g a r r a y ( t r a i n i n g D a t a )
75 t r a i n i n g L a b e l = GPU . g a r r a y ( t r a i n i n g L a b e l )
76 f o r e p och i n r a n g e ( maxEpoch ) :
77 s e l f . r e c o g n i z e ( )
78 f o r i i n r a n g e ( maxBatch ) :
79 i n p u t = t r a i n i n g D a t a [ i ]
80 t a r g e t = t r a i n i n g L a b e l [ i ]
81 prob , o u t p u t = g e t A b s t r a c t ( w e igh t , i n p u t )
82 s e n s = t a r g e t โˆ’ o u t p u t
83 w e i g h t . r e v e r s e ( )
84 f o r W, X, i n d e x i n z i p ( w e igh t , prob ,
85 r a n g e ( l e n ( w e ig h t ) ) ) :
86 d e l t a = GPU . d o t ( s e n s . T , X)
87 s e n s = GPU . d o t ( se ns , W) โˆ— X โˆ— ( 1 โˆ’ X)
88 s e n s = s e n s [ : , 1 : ]
89 w e i g h t [ i n d e x ] += l e a r n i n g R a t e โˆ— d e l t a
90 / ( numCase )
91 w e i g h t . r e v e r s e ( )
92 p r i n t epoch , โ€ c o m p l e t e ! โ€
93 f o r rbm , W i n z i p ( s e l f . rbms , w e i g h t ) :
94 rbm .W = ( e p s i l o n โˆ—W[ : , 1 : ] ) . a s n u m p y a r r a y ( )
95 rbm . h i d B a i s = W[ : , 0 ] . a s n u m p y a r r a y ( )
96 f o r rbm i n ( s e l f . rbms ) :
97 rbm . s a v e P a r a m e t e r ( )
98
- 124 -
99 d e f r e c o n s t r u c t ( s e l f , numCase =100 , t r a i n i n g D a t a =None ) :
100 i f t r a i n i n g D a t a == None :
101 t r a i n i n g D a t a = g e t B i n D a t a ( ) [ 0 ]
102 pureRBM = s e l f . rbms [ : โˆ’1 ]
103 f o r i i n r a n g e ( numCase ) :
104 sa m ple = t r a i n i n g D a t a [ i ]
105 a b s t r a c t = s a mpl e
106 f o r rbm i n pureRBM :
107 a b s t r a c t = rbm . f e a t u r e E x t r a c t ( a b s t r a c t )
108 p ureRB M . r e v e r s e ( )
109 f o r rbm i n pureRBM :
110 a b s t r a c t = rbm . r e c o n s t r u c t ( a b s t r a c t )
111 p ureRB M . r e v e r s e ( )
112 imageName = โ€™ r e c o n s t r u c t โ€™ + s t r ( i )
113 c r e a t e I m a g e ( 2 55 โˆ— a b s t r a c t , imageName ,
114 showNow = F a l s e , t r a n s = F a l s e )
115 e l s e :
116 pureRBM = s e l f . rbms [ : โˆ’1 ]
117 a b s t r a c t = t r a i n i n g D a t a
118 f o r rbm i n pureRBM :
119 a b s t r a c t = rbm . f e a t u r e E x t r a c t ( a b s t r a c t )
120 pureRBM . r e v e r s e ( )
121 f o r rbm i n pureRBM :
122 a b s t r a c t = rbm . r e c o n s t r u c t ( a b s t r a c t )
123 s c a l e = np . random . random ( a b s t r a c t . s h a pe )
124 temp = z e r o s ( a b s t r a c t . s h a p e )
125 temp [ l e s s ( s c a l e , a b s t r a c t ) ] = 1
126 c r e a t e I m a g e ( 2 55 โˆ— a b s t r a c t ,
127 showNow = F a l s e , t r a n s = F a l s e )
128 r e t u r n temp
129
130
131
- 125 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
132 d e f r e c o g n i z e ( s e l f , t e s t D a t a = None , t e s t L a b e l = None ) :
133 i f t e s t D a t a == None or t e s t L a b e l == None :
134 t e s t D a t a = (255 โˆ’ g e t D a t a ( ) [ 2 ] ) / 2 5 5 . 0
135 # t e s t D a t a = g e t B i n D a t a ( ) [ 2 ]
136 t e s t L a b e l = g e t B i n D a t a ( ) [ 3 ]
137 numCase = t e s t D a t a . s h a pe [ 0 ]
138 maxBatch = 100
139 t e s t D a t a . s h a pe = maxBatch , โˆ’1 , 784
140 t e s t L a b e l . s h a pe = maxBatch , โˆ’1
141 e l s e :
142 numCase = t e s t D a t a . s h a pe [ 0 ] โˆ— t e s t D a t a . s ha p e [ 1 ]
143 maxBatch = t e s t D a t a . s h a pe [ 0 ]
144
145 c o u n t = 0
146 f o r i i n r a n g e ( maxBatch ) :
147 i n p u t = t e s t D a t a [ i ]
148 o u t p u t = i n p u t
149 f o r rbm i n s e l f . rbms :
150 o u t p u t = rbm . f e a t u r e E x t r a c t ( o u t p u t )
151 g u e s t = argmax ( o u t p u t , a x i s = 1 )
152 b in g o = g u e s t == t e s t L a b e l [ i ]
153 c o u n t += sum ( b i n go )
154 p r i n t โ€ c o r r e c t r a t e =โ€ , s t r ( 1 0 0 . 0 โˆ— c o u n t / numCase )+ โ€%โ€
- 126 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
้™„ๅฝ• B ๅท็งฏ็ฅž็ป็ฝ‘็ปœๆบไปฃ็ 
ๅœจๆœฌ้™„ๅฝ•ไธญ็ป™ๅ‡บCIFARไธญไฝฟ็”จ็š„ๅท็งฏ็ฅž็ป็ฝ‘็ปœๆบไปฃ็ ๏ผŒ็”ฑไบŽMNISTๆบไปฃ็ ไธŽ
่ฟ™้‡Œ็ฑปไผผ๏ผŒๅชๆ˜ฏๆž„้€ ๅ™จๆœ‰็•ฅๅพฎ็š„ไธๅŒ๏ผŒๅ› ๆญคๆˆ‘ไปฌไธๆ‰“็ฎ—ๆไพ›MNISTไธญๅท็งฏ็ฝ‘็ปœ็š„
ไปฃ็ ๏ผŒ่ฏป่€…ๅฏ็ป่ฟ‡ๅพˆๅฐ‘็š„ๆ”นๅŠจไพฟๅฏๅฐ†ไปฅไธ‹็š„ไปฃ็ ๆ”นๅ†™ๆˆ่ฎญ็ปƒMNISTๆ•ฐๆฎ้›†็š„ไปฃ็ ใ€‚
ๅœจ่ฟ™ๅ‡ ไธชๆ–‡ไปถไธญ๏ผŒMain.pyๆ˜ฏๆ•ดไธช็จ‹ๅบ็š„ๅ…ฅๅฃใ€‚CIFAR.pyๆ˜ฏๅทฅๅ…ทๆ–‡ไปถ๏ผŒๅฎƒๆไพ›่Žทๅ–
ๆ•ฐๆฎ้›†ไปฅๅŠ็ป˜ๅˆถๅ›พๅƒ็š„ๅŠŸ่ƒฝใ€‚FormatLayer.pyๆ˜ฏๆœ€้กถๅฑ‚็‰นๅพๅ›พๅฑ•ๅผ€ๆˆๅˆ—ๅ‘้‡ๆ‰€็ป่ฟ‡
็š„ไธ€ไธชๆ ผๅผ่ฝฌๅŒ–ๅฑ‚ใ€‚CNNs.pyๆ˜ฏๆ•ดไธชๅท็งฏ็ฝ‘็ปœ็š„็ฑปๆ–‡ไปถ๏ผŒๅฎƒ่ƒฝๅฎž็Žฐ็ฝ‘็ปœ็š„ๅ‰ๅ‘ไผ 
ๆ’ญๅ’Œๅๅ‘ไผ ๆ’ญใ€‚SubsamplingLayer.pyๆ˜ฏ้‡‡ๆ ทๅฑ‚็ฑปๆ–‡ไปถใ€‚ConvLayer.pyๆ˜ฏๅท็งฏๅฑ‚็ฑปๆ–‡
ไปถใ€‚FullConnectLayer.pyๆ˜ฏๅ…จ่ฟžๆŽฅๅฑ‚็š„็ฑปๆ–‡ไปถใ€‚ๅฏไปฅ็œ‹ๅˆฐ๏ผŒๆ•ดไธช็ฝ‘็ปœ็š„ไปฃ็ ๅทฒ็ป่ขซ
ๆˆ‘ไปฌๅ†™ๆˆ็ดง่€ฆๅˆ็š„ไบ†๏ผŒๆˆ‘ไปฌๆฒกๆœ‰ๆ—ถ้—ดๅฐ†่ฟ™ไบ›ไปฃ็ ๅ†™ๆˆๆพ่€ฆๅˆๅฝขๅผ๏ผŒๆœ‰ๅ…ด่ถฃ็š„่ฏป่€…
ๅฏ่ฟ›่กŒๅฐ่ฏ•ใ€‚ๅฆๅค–๏ผŒ้‰ดไบŽ็‰ˆ้ข็š„้—ฎ้ข˜๏ผŒๆˆ‘ไปฌๅฏนไปฃ็ ็š„ๆ ผๅผ่ฟ›่กŒไบ†่ฐƒๆ•ด๏ผŒๅ› ๆญค็›ดๆŽฅ
ๆ‹ท่ด่ฟ™ไบ›ไปฃ็ ๆ˜ฏไธไผšๆ‰ง่กŒ็š„๏ผŒไฝ ้œ€่ฆๅ†้‡ๆ–ฐ่ฐƒๆ•ดไป–ไปฌ็š„ๆ ผๅผใ€‚ๆˆ‘ไปฌๅฏนๆ•ฐๆฎ้›†่ฟ›่กŒ
ไบ†้•œๅƒๅค„็†๏ผŒๅ› ๆญคๆˆ‘ไปฌๆ€ปๅ…ฑๆœ‰10ไธชๆ‰นๆฌก็š„ๆ•ฐๆฎ้›†๏ผŒ่ฟ›่กŒๅ›พๅƒ้•œๅƒไป…ไป…ๅชๆ˜ฏๅฐ†็Ÿฉ้˜ต
็ฟป่ฝฌ๏ผŒๅพˆๅฎนๆ˜“ๅฎž็Žฐ๏ผŒๆ‰€ไปฅๅœจ่ฟ™้‡Œๆˆ‘ไปฌๅฐฑไธ่ดดไปฃ็ ไบ†ใ€‚
ไปฃ็  B.1 FormatLayer.py
1 from CNNs impo rt โˆ—
2 cnn = CNNs ( l o a d = F a l s e )
3 cnn . t r a i n ( )
4 c o r r e c t R a t e = cnn . t e s t i n g ( )
5 p r i n t c o r r e c t R a t e
- 127 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ไปฃ็  B.2 CIFAR.py
1 from numpy import โˆ—
2 from s c i p y i mport mi s c
3 i mport Image
4
5 d e f u n p i c k l e ( f i l e ) :
6 imp ort c P i c k l e
7 f o = open ( f i l e , โ€™ r b โ€™ )
8 d i c t = c P i c k l e . l o a d ( f o )
9 f o . c l o s e ( )
10 r e t u r n d i c t [ โ€™ d a t a โ€™ ] , a r r a y ( d i c t [ โ€™ l a b e l s โ€™ ] )
11
12 d e f g e t D a t a ( i ) :
13 f i le N a m e = โ€™ d a t a b a t c h โ€™ + s t r ( i )
14 t r a i n i n g D a t a , t r a i n i n g L a b e l = u n p i c k l e ( f i l e Na m e )
15 r e t u r n t r a i n i n g D a t a / 2 5 5 . 0 , t r a i n i n g L a b e l
16
17 d e f g e t T e s t D a t a ( ) :
18 f i le N a m e = โ€™ t e s t b a t c h โ€™
19 t e s t D a t a , t e s t L a b e l = u n p i c k l e ( f i le Na m e )
20 r e t u r n t e s t D a t a / 2 5 5 . 0 , t e s t L a b e l
21
22 d e f c r e a t e I m a g e ( d a t a , imageName = โ€™ temp โ€™ , mode = โ€™ j p g โ€™ ) :
23 r e d = d a t a [ : 1 0 2 4 ]
24 g r e e n = d a t a [ 1 0 2 4 : 2 0 4 8 ]
25 b l u e = d a t a [ 2 0 4 8 : ]
26 image = a r r a y ( z i p ( red , gr ee n , b l u e ) ) . r e s h a p e ( 3 2 , 3 2 , 3 )
27 imageName = imageName + โ€™ . โ€™ + mode
28 misc . im s ave ( imageName , image )
- 128 -
ไปฃ็  B.3 CNNs.py
1 from ConvLayer import โˆ—
2 from S u b sa m p l in g L a ye r impo rt โˆ—
3 from F u l l C o n n e c t L a y e r imp ort โˆ—
4 i mport numpy a s np
5 from CI FAR i mport โˆ—
6 from Fo rm a t L ay er import โˆ—
7
8 c l a s s CNNs ( ) :
9
10 d e f i n i t ( s e l f , l o a d = F a l s e ) :
11 s e l f .CNN = [ ConvLayer ( 1 , 3 , 9 , l o a d P a r a m e t e r = l o a d ) ,
12 S u b s a mp l i n gL a y e r ( 2 ) ,
13 Fo r m a tL ay e r ( 6 , 9 , 1 4 , 1 4 ) ,
14 F u l l C o n n e c t L a y e r ( 7 , 17 6 4 , 1 0 ,
15 l o a d P a r a m e t e r = l o a d ) ]
16
17 d e f t r a i n i n g ( s e l f ) :
18 f o r i i n r a n g e ( 4 0 0 ) :
19 s e l f . t r a i n A e p o c h ( )
20 c o r r e c t R a t e = s e l f . t e s t ( ) / 1 0 0 . 0
21 p r i n t โ€™ e p o c h โ€™ , i , โ€™ c o m p l e t e โ€™ ,
22 โ€™ c o r r e c t r a t e = โ€™ , c o r r e c t R a t e
23 f o r l a y e r i n s e l f .CNN:
24 l a y e r . s a v e P a r a m e t e r ( )
25
26
27 d e f t r a i n A e p o c h ( s e l f ) :
28 e r r o r = 0
29 f o r b a t c h i n r a n g e ( 1 0 ) :
30 numCase = 10000
31 t r a i n i n g D a t a = g e t D a t a ( b a t c h + 1 ) [ 0 ] [ : numCase ]
32 l a b e l = g e t D a t a ( b a t c h + 1 ) [ 1 ] [ : numCase ]
- 129 -
33 t r a i n i n g L a b e l = np . z e r o s ( ( numCase , 1 0 ) )
34 t r a i n i n g L a b e l [ [ i f o r i i n r a n g e ( numCase ) ] ,
35 l a b e l ] = 1
36
37 f o r i i n r a n g e ( numCase ) :
38 r e d = t r a i n i n g D a t a [ i ] [ : 1 0 2 4 ]
39 . r e s h a p e ( 3 2 , 32 )
40 g r e e n = t r a i n i n g D a t a [ i ] [ 1 0 2 4 : 2 0 4 8 ]
41 . r e s h a p e ( 3 2 , 32 )
42 b l u e = t r a i n i n g D a t a [ i ] [ 2 0 4 8 : ]
43 . r e s h a p e ( 3 2 , 32 )
44 f e a t u r e M a p = [ r e d , g r ee n , b l u e ]
45 temp = [ f e a t u r e M a p ]
46 # f p r o p
47 f o r l a y e r i n s e l f .CNN:
48 f e a t u r e M a p = l a y e r . f p r o p ( f e a t u r e M a p )
49 temp . i n s e r t ( 0 , f e a t u r e M a p )
50 # c l a c e r r o r
51 o u t I n = z i p ( temp [ : โˆ’1 ] , temp [ 1 : ] )
52 g u e s t = temp [ 0 ]
53 l o s e F u n c D i f f A c t = g u e s t
54 โˆ’ t r a i n i n g L a b e l [ i ] . r e s h a p e ( โˆ’1 , 1 )
55 e r r o r += np . d o t ( l o s e F u n c D i f f A c t . T ,
56 l o s e F u n c D i f f A c t )
57 s e l f .CNN . r e v e r s e ( )
58 # b p ro b
59 f o r l a y e r , o u t I n i n z i p ( s e l f .CNN [ : ] ,
60 o u t I n [ : ] ) :
61 l o s e F u n c D i f f A c t = l a y e r . b p ro p (
62 l o s e F u n c D i f f A c t ,
63 o u t I n [ 1 ] , o u t I n [ 0 ] )
64 s e l f .CNN . r e v e r s e ( )
65 p r i n t โ€™ a b a t c h co mp le t e , e r r o r = โ€™ , e r r o r
- 130 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
66 d e f t e s t i n g ( s e l f ) :
67 t e s t D a t a = g e t T e s t D a t a ( ) [ 0 ]
68 t e s t L a b e l = g e t T e s t D a t a ( ) [ 1 ]
69 numCase = 10000
70 h i t = 0
71 f o r i i n r a n g e ( numCase ) :
72 r e d = t e s t D a t a [ i ] [ : 1 0 2 4 ] . r e s h a p e ( 3 2 , 32 )
73 g r e e n = t e s t D a t a [ i ] [ 1 0 2 4 : 2 0 4 8 ] . r e s h a p e ( 3 2 , 3 2)
74 b l u e = t e s t D a t a [ i ] [ 2 0 4 8 : ] . r e s h a p e ( 3 2 , 3 2 )
75 f e a t u r e = [ r e d , g r ee n , b l u e ]
76 f o r l a y e r , l a y e r I n d e x i n z i p ( s e l f . CNN,
77 r a n g e ( l e n ( s e l f .CNN ) ) ) :
78 f e a t u r e = l a y e r . f p r o p ( f e a t u r e )
79 g u e s t = np . argmax ( f e a t u r e )
80 l a b e l = t e s t L a b e l [ i ]
81 i f g u e s t == l a b e l :
82 h i t += 1
83 re tu r n h i t
- 131 -
ไปฃ็  B.4 ConvLayer.py
1 i mport numpy a s np
2 from s c i p y . s i g n a l im port c o nv o l v e 2 d
3 from s c i p y i mport s t a t s
4
5 c l a s s ConvLayer ( ) :
6 d e f i n i t ( s e l f , l a y e r , inputMapNum , outputMapNum ,
7 k e r n e l S i z e =( 5 , 5 ) , l o a d P a r a m e t e r = F a l s e ) :
8 s e l f . l a y e r = l a y e r
9 s e l f . inputMapNum = inputMapNum
10 s e l f . outputMapNum = outputMapNum
11 s e l f . k e r n e l S i z e = k e r n e l S i z e
12 G a u s s i a n = s t a t s . norm ( 0 , 0 . 0 0 0 1 )
13 s e l f . k e r n e l = [ [ None f o r j i n r a n g e ( s e l f . outputMapNum ) ]
14 f o r i i n r a n g e ( s e l f . inputMapNum ) ]
15 i f l o a d P a r a m e t e r == F a l s e :
16 s e l f . k e r n e l = [ [ np . a r r a y ( G a u s s i a n . r v s ( k e r n e l S i z e ) )
17 f o r j i n r a n g e ( s e l f . outputMapNum ) ]
18 f o r i i n r a n g e ( s e l f . inputMapNum ) ]
19 s e l f . b i a s = np . a r r a y ( [ np . random . random ( )
20 f o r i i n r a n g e ( s e l f . outputMapNum ) ] )
21 e l s e :
22 f o r i i n r a n g e ( s e l f . inputMapNum ) :
23 f o r j i n r a n g e ( s e l f . outputMapNum ) :
24 f p = open ( r โ€™ k e r n e l โ€™ + s t r ( s e l f . l a y e r )
25 + โ€™ ( โ€™+ s t r ( i )+ โ€™ , โ€™+ s t r ( j )+ โ€™ ) โ€™ , โ€™ r b โ€™ )
26 s e l f . k e r n e l [ i ] [ j ] = np . f r o m f i l e ( fp ,
27 dt y p e=np . d o u b l e )
28 . r e s h a p e ( s e l f . k e r n e l S i z e )
29 f p . c l o s e ( )
30 f p = open ( r โ€™ b i a s โ€™ + s t r ( s e l f . l a y e r ) , โ€™ r b โ€™ )
31 s e l f . b i a s = np . f r o m f i l e ( fp , d t y p e=np . d o u b l e )
32 f p . c l o s e ( )
- 132 -
33 p r i n t โ€ conv l a y e r โ€ , s e l f . l a y e r ,
34 โ€ p a r a m e t e r s had b e e n l o a d e d . โ€
35 s e l f . l e a r n i n g R a t e = 0 . 0 1
36
37 d e f s a v e P a r a m e t e r ( s e l f ) :
38 f o r i i n r a n g e ( s e l f . inputMapNum ) :
39 f o r j i n r a n g e ( s e l f . outputMapNum ) :
40 f p = open ( r โ€™ k e r n e l โ€™ + s t r ( s e l f . l a y e r )
41 + โ€™ ( โ€™+ s t r ( i )+ โ€™ , โ€™+ s t r ( j )+ โ€™ ) โ€™ , โ€™wb โ€™ )
42 f p . w r i t e ( s e l f . k e r n e l [ i ] [ j ] )
43 f p . c l o s e ( )
44 f p = open ( r โ€™ b i a s โ€™ + s t r ( s e l f . l a y e r ) , โ€™wb โ€™ )
45 f p . w r i t e ( np . a r r a y ( s e l f . b i a s ) )
46 f p . c l o s e ( )
47 p r i n t โ€ conv l a y e r โ€ , s e l f . l a y e r ,
48 โ€ p a r a m e t e r s had be en s av e . โ€
49
50 d e f conv ( s e l f , d a t a , k e r n e l ) :
51 f e a t u r e M a p = c o n vo l ve 2 d ( d a t a , k e r n e l , mode= โ€™ v a l i d โ€™ )
52 re tu r n f e a t u r e M a p
53
54 d e f f p r o p ( s e l f , i np u tM a ps ) :
55 h i g h F e a t u re M a p s = [ np . z e r o s l i k e (
56 s e l f . conv ( in p ut Map s [ 0 ] ,
57 s e l f . k e r n e l [ 0 ] [ 0 ] ) )
58 f o r i i n r a n g e ( s e l f . outputMapNum ) ]
59
60 f o r inputMap , k e r n e l i i n z i p ( in p u t Map s , s e l f . k e r n e l ) :
61 ou tp u tM a ps = [ s e l f . conv ( inputMap , k e r n e l j )
62 f o r k e r n e l j i n k e r n e l i ]
63 f o r i , outputM a p i n z i p ( r a n g e ( s e l f . outputMapNum ) ,
64 ou tp ut M ap s ) :
65 h i g h F e a t u r e M a p s [ i ] += o u t p u tMap
- 133 -
66
67 f o r i i n r a n g e ( s e l f . outputMapNum ) :
68 h i g h F e a t u r e M a p s [ i ] = 1 . 0 / ( 1
69 + np . exp (โˆ’h i g h F e a t u r e M a p s [ i ]
70 โˆ’ s e l f . b i a s [ i ] ) )
71 re tu r n h i g h F e a t u r e M a p s
72
73 d e f bp ro p ( s e l f , l os sD i f f A c tM ap , inputMap , outputM a p ) :
74 de f r o t 1 8 0 ( M a t r i x ) :
75 r e t u r n np . r o t 9 0 ( M a tri x , 2 )
76
77 a c t Di f f N et M a p = [ o u t p u t โˆ— ( 1 โˆ’ o u t p u t )
78 f o r o u t p u t i n ou t p utMa p ]
79
80 sensMap = [ l o s s D i f f A c t โˆ— a c t D i f f N e t
81 f o r l o s s D i f f A c t , a c t D i f f N e t i n
82 z i p ( l o ss Di f f A c t Ma p , a c tD i f f Ne t M a p ) ]
83
84 d e l t a K e r n e l = [ [ None f o r j i n r a n g e ( s e l f . outputMapNum ) ]
85 f o r i i n r a n g e ( s e l f . inputMapNum ) ]
86
87 f o r i i n r a n g e ( s e l f . inputMapNum ) :
88 f o r j i n r a n g e ( s e l f . outputMapNum ) :
89 d e l t a K e r n e l [ i ] [ j ] = r o t 1 8 0 ( s e l f . conv (
90 inputMap [ i ] ,
91 r o t 1 8 0 ( sensMap [ j ] ) ) )
92 s e l f . k e r n e l [ i ] [ j ] โˆ’= s e l f . l e a r n i n g R a t e
93 โˆ— d e l t a K e r n e l [ i ] [ j ]
94
95 f o r j i n r a n g e ( s e l f . outputMapNum ) :
96 s e l f . b i a s [ j ] โˆ’= s e l f . l e a r n i n g R a t e
97 โˆ— np . sum ( sensMap [ j ] )
98
- 134 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
99 an s = [ np . z e r o s l i k e ( i n p u t M a p [ 0 ] )
100 f o r i i n r a n g e ( s e l f . inputMapNum ) ]
101 f o r i i n r a n g e ( s e l f . inputMapNum ) :
102 f o r j i n r a n g e ( s e l f . outputMapNum ) :
103 a ns [ i ] += c o n v o lv e 2 d ( sensMap [ j ] ,
104 r o t 1 8 0 ( s e l f . k e r n e l [ i ] [ j ] ) ,
105 mode= โ€™ f u l l โ€™ )
106 re tu r n a ns
- 135 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ไปฃ็  B.5 SubsamplingLayer.py
1 i mport numpy a s np
2 from s c i p y . s i g n a l im port c o nv o l v e 2 d
3 from s c i p y . l i n a l g import k ro n
4
5 c l a s s S ub s a m pl i n g La y e r ( ) :
6
7 d e f i n i t ( s e l f , l a y e r ) :
8 s e l f . l a y e r = l a y e r
9 s e l f . k e r n e l = 0 . 2 5 โˆ— np . o n es ( ( 2 , 2 ) )
10
11 d e f s u b s a m p l i n g ( s e l f , d a t a ) :
12 f e a t u r e M a p = c o n vo l ve 2 d ( d a t a , s e l f . k e r n e l ,
13 mode= โ€™ v a l i d โ€™ )
14 re tu r n f e a t u r e M a p [ : : 2 , : : 2 ]
15
16 d e f s a v e P a r a m e t e r ( s e l f ) :
17 p r i n t โ€™ s u b s a m p l i n t l a y e r h as no p a r a m e t e r t o s a v e โ€™
18
19 d e f f p r o p ( s e l f , l owF ea t ur e Ma p s ) :
20 h i g h F e a t u re M a p s = [ s e l f . s u b s a m p l i n g ( d a t a )
21 f o r d a t a in l o wF e at u re M ap s ]
22 re tu r n h i g h F e a t u r e M a p s
23
24 d e f bp ro p ( s e l f , l os sD i f f A c tM ap , inputMap , outputM a p ) :
25 I2 x 2 = 0 . 2 5 โˆ— np . on es ( ( 2 , 2 ) )
26 re tu r n [ k r on ( s en s , I 2x 2 ) f o r s e n s in l o s s D i f f A ct M a p ]
- 136 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
ไปฃ็  B.6 FormatLayer.py
1 i mport numpy a s np
2 c l a s s F o rm at La y e r ( ) :
3 d e f i n i t ( s e l f , l a y e r , mapNum , mapRow , mapCol ) :
4 s e l f . mapNum = mapNum
5 s e l f . mapRow = mapRow
6 s e l f . mapCol = mapCol
7 s e l f . l a y e r = l a y e r
8
9 d e f f p r o p ( s e l f , d a t a ) :
10 re tu r n np . a r r a y ( d a t a ) . r e s h a p e ( ( โˆ’1 , 1 ) )
11
12 d e f s a v e P a r a m e t e r ( s e l f ) :
13 p r i n t โ€™ f o r m a t l a y e r h as no p a r a m e t e r t o s a v e โ€™
14
15 d e f bp ro p ( s e l f , l o s s D i f f A c t , f e e d I n , o u t p u t ) :
16 l o s s D i f f A c t . s h ap e = s e l f . mapNum , s e l f . mapRow ,
17 s e l f . mapCol
18 re tu r n [ maps f o r maps i n l o s s D i f f A c t ]
- 137 -
ไปฃ็  B.7 FullConnectLayer.py
1 from s c i p y i mport s t a t s
2 i mport numpy a s np
3
4 c l a s s F u l l C o n n e c t L a y e r ( ) :
5
6 d e f i n i t ( s e l f , l a y e r , visNum , hidNum ,
7 l o a d P a r a m e t e r = F a l s e ) :
8 s e l f . l a y e r = l a y e r
9 G a u s s i an = s t a t s . norm ( 0 , 0 . 0 1 )
10 i f l o a d P a r a m e t e r == F a l s e :
11 s e l f . w e i g h t = np . a r r a y ( G a u s s i a n . r v s (
12 ( hidNum , visNum ) ) )
13 s e l f . b i a s = np . z e r o s ( ( hidNum , 1 ) )
14 e l s e :
15 f p = open ( r โ€™ w e i g h t โ€™ + s t r ( s e l f . l a y e r ) , โ€™ r b โ€™ )
16 s e l f . w e i g h t = np . f r o m f i l e ( fp , d t y p e = np . d o u b l e )
17 . r e s h a p e ( hidNum , visNum )
18 f p . c l o s e ( )
19 f p = open ( r โ€™ b i a s โ€™ + s t r ( s e l f . l a y e r ) , โ€™ r b โ€™ )
20 s e l f . b i a s = np . f r o m f i l e ( fp , d t y p e = np . d o u b l e )
21 . r e s h a p e ( hidNum , 1 )
22 f p . c l o s e ( )
23 p r i n t โ€ f u l l c o n n e c t l a y e r โ€ , s e l f . l a y e r ,
24 โ€ p a r a m e t e r s had b e e n l o a d e d . โ€
25 s e l f . l e a r n i n g R a t e = 0 . 0 0 1
26
27 d e f s a v e P a r a m e t e r ( s e l f ) :
28 f p = open ( r โ€™ w e i g h t โ€™ + s t r ( s e l f . l a y e r ) , โ€™wb โ€™ )
29 f p . w r i t e ( s e l f . w e i g h t )
30 f p . c l o s e ( )
31 f p = open ( r โ€™ b i a s โ€™ + s t r ( s e l f . l a y e r ) , โ€™wb โ€™ )
32 f p . w r i t e ( s e l f . b i a s )
- 138 -
ๅ“ˆๅฐ”ๆปจๅทฅไธšๅคงๅญฆๆœฌ็ง‘ๆฏ•ไธš่ฎพ่ฎก๏ผˆ่ฎบๆ–‡๏ผ‰
33 f p . c l o s e ( )
34 p r i n t โ€ f u l l c o n n e c t l a y e r โ€ , s e l f . l a y e r ,
35 โ€ p a r a m e t e r s had be en s av e . โ€
36
37 d e f f p r o p ( s e l f , d a t a ) :
38 n e t = np . d o t ( s e l f . w e ig h t , d a t a ) + s e l f . b i a s
39 f e a t u r e = 1 . 0 / ( 1 + np . exp ( โˆ’n e t ) )
40 re tu r n f e a t u r e
41
42
43 d e f bp ro p ( s e l f , l o s s D i f f A c t , f e e d I n , o u t p u t ) :
44 a c t D i f f N e t = o u t p u t โˆ— ( 1 โˆ’ o u t p u t )
45 s e n s = l o s s D i f f A c t โˆ— a c t D i f f N e t
46 d e l t a W e i g h t = np . d o t ( s en s , f e e d I n . T )
47 s e l f . w e i g h t โˆ’= s e l f . l e a r n i n g R a t e โˆ— d e l t a W e i g h t
48 s e l f . b i a s โˆ’= s e l f . l e a r n i n g R a t e โˆ— s e n s
49 re tu r n np . d o t ( s e l f . w e i g h t . T , s e n s )
- 139 -
{% endraw %} {% endblock %}